python gradientboostingregressor可以做預(yù)測(cè)嗎

可以

成都創(chuàng)新互聯(lián)公司專(zhuān)業(yè)為企業(yè)提供岳西網(wǎng)站建設(shè)、岳西做網(wǎng)站、岳西網(wǎng)站設(shè)計(jì)、岳西網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、岳西企業(yè)網(wǎng)站模板建站服務(wù)，10多年岳西做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

最近項(xiàng)目中涉及基于Gradient Boosting Regression 算法擬合時(shí)間序列曲線的內(nèi)容，利用python機(jī)器學(xué)習(xí)包?scikit-learn 中的GradientBoostingRegressor完成

因此就學(xué)習(xí)了下Gradient Boosting算法，在這里分享下我的理解

Boosting 算法簡(jiǎn)介

Boosting算法，我理解的就是兩個(gè)思想：

1）“三個(gè)臭皮匠頂個(gè)諸葛亮”，一堆弱分類(lèi)器的組合就可以成為一個(gè)強(qiáng)分類(lèi)器；

2）“知錯(cuò)能改，善莫大焉”，不斷地在錯(cuò)誤中學(xué)習(xí)，迭代來(lái)降低犯錯(cuò)概率

當(dāng)然，要理解好Boosting的思想，首先還是從弱學(xué)習(xí)算法和強(qiáng)學(xué)習(xí)算法來(lái)引入：

1）強(qiáng)學(xué)習(xí)算法：存在一個(gè)多項(xiàng)式時(shí)間的學(xué)習(xí)算法以識(shí)別一組概念，且識(shí)別的正確率很高；

2）弱學(xué)習(xí)算法：識(shí)別一組概念的正確率僅比隨機(jī)猜測(cè)略好；

Kearns Valiant證明了弱學(xué)習(xí)算法與強(qiáng)學(xué)習(xí)算法的等價(jià)問(wèn)題，如果兩者等價(jià)，只需找到一個(gè)比隨機(jī)猜測(cè)略好的學(xué)習(xí)算法，就可以將其提升為強(qiáng)學(xué)習(xí)算法。

那么是怎么實(shí)現(xiàn)“知錯(cuò)就改”的呢？

Boosting算法，通過(guò)一系列的迭代來(lái)優(yōu)化分類(lèi)結(jié)果，每迭代一次引入一個(gè)弱分類(lèi)器，來(lái)克服現(xiàn)在已經(jīng)存在的弱分類(lèi)器組合的shortcomings

在Adaboost算法中，這個(gè)shortcomings的表征就是權(quán)值高的樣本點(diǎn)

而在Gradient Boosting算法中,這個(gè)shortcomings的表征就是梯度

無(wú)論是Adaboost還是Gradient Boosting，都是通過(guò)這個(gè)shortcomings來(lái)告訴學(xué)習(xí)器怎么去提升模型，也就是“Boosting”這個(gè)名字的由來(lái)吧

Adaboost算法

Adaboost是由Freund 和 Schapire在1997年提出的，在整個(gè)訓(xùn)練集上維護(hù)一個(gè)分布權(quán)值向量W,用賦予權(quán)重的訓(xùn)練集通過(guò)弱分類(lèi)算法產(chǎn)生分類(lèi)假設(shè)（基學(xué)習(xí)器）y(x),然后計(jì)算錯(cuò)誤率,用得到的錯(cuò)誤率去更新分布權(quán)值向量w,對(duì)錯(cuò)誤分類(lèi)的樣本分配更大的權(quán)值,正確分類(lèi)的樣本賦予更小的權(quán)值。每次更新后用相同的弱分類(lèi)算法產(chǎn)生新的分類(lèi)假設(shè),這些分類(lèi)假設(shè)的序列構(gòu)成多分類(lèi)器。對(duì)這些多分類(lèi)器用加權(quán)的方法進(jìn)行聯(lián)合,最后得到?jīng)Q策結(jié)果。

其結(jié)構(gòu)如下圖所示：

前一個(gè)學(xué)習(xí)器改變權(quán)重w，然后再經(jīng)過(guò)下一個(gè)學(xué)習(xí)器，最終所有的學(xué)習(xí)器共同組成最后的學(xué)習(xí)器。

如果一個(gè)樣本在前一個(gè)學(xué)習(xí)器中被誤分，那么它所對(duì)應(yīng)的權(quán)重會(huì)被加重，相應(yīng)地，被正確分類(lèi)的樣本的權(quán)重會(huì)降低。

這里主要涉及到兩個(gè)權(quán)重的計(jì)算問(wèn)題：

1）樣本的權(quán)值

1 沒(méi)有先驗(yàn)知識(shí)的情況下,初始的分布應(yīng)為等概分布,樣本數(shù)目為n,權(quán)值為1/n

2 每一次的迭代更新權(quán)值，提高分錯(cuò)樣本的權(quán)重

2）弱學(xué)習(xí)器的權(quán)值

1 最后的強(qiáng)學(xué)習(xí)器是通過(guò)多個(gè)基學(xué)習(xí)器通過(guò)權(quán)值組合得到的。

2 通過(guò)權(quán)值體現(xiàn)不同基學(xué)習(xí)器的影響,正確率高的基學(xué)習(xí)器權(quán)重高。實(shí)際上是分類(lèi)誤差的一個(gè)函數(shù)

Gradient Boosting

和Adaboost不同，Gradient Boosting 在迭代的時(shí)候選擇梯度下降的方向來(lái)保證最后的結(jié)果最好。

損失函數(shù)用來(lái)描述模型的“靠譜”程度，假設(shè)模型沒(méi)有過(guò)擬合，損失函數(shù)越大，模型的錯(cuò)誤率越高

如果我們的模型能夠讓損失函數(shù)持續(xù)的下降，則說(shuō)明我們的模型在不停的改進(jìn)，而最好的方式就是讓損失函數(shù)在其梯度方向上下降。

下面這個(gè)流程圖是Gradient Boosting的經(jīng)典圖了，數(shù)學(xué)推導(dǎo)并不復(fù)雜，只要理解了Boosting的思想，不難看懂

這里是直接對(duì)模型的函數(shù)進(jìn)行更新，利用了參數(shù)可加性推廣到函數(shù)空間。

訓(xùn)練F0-Fm一共m個(gè)基學(xué)習(xí)器，沿著梯度下降的方向不斷更新ρm和am

GradientBoostingRegressor實(shí)現(xiàn)

python中的scikit-learn包提供了很方便的GradientBoostingRegressor和GBDT的函數(shù)接口，可以很方便的調(diào)用函數(shù)就可以完成模型的訓(xùn)練和預(yù)測(cè)

GradientBoostingRegressor函數(shù)的參數(shù)如下：

class sklearn.ensemble.GradientBoostingRegressor(loss='ls', learning_rate=0.1, n_estimators=100, subsample=1.0, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, init=None, random_state=None, max_features=None, alpha=0.9, verbose=0, max_leaf_nodes=None, warm_start=False, presort='auto')[source]?

loss: 選擇損失函數(shù)，默認(rèn)值為ls(least squres)

learning_rate: 學(xué)習(xí)率，模型是0.1

n_estimators: 弱學(xué)習(xí)器的數(shù)目，默認(rèn)值100

max_depth: 每一個(gè)學(xué)習(xí)器的最大深度，限制回歸樹(shù)的節(jié)點(diǎn)數(shù)目，默認(rèn)為3

min_samples_split: 可以劃分為內(nèi)部節(jié)點(diǎn)的最小樣本數(shù)，默認(rèn)為2

min_samples_leaf: 葉節(jié)點(diǎn)所需的最小樣本數(shù)，默認(rèn)為1

……

可以參考

官方文檔里帶了一個(gè)很好的例子，以500個(gè)弱學(xué)習(xí)器，最小平方誤差的梯度提升模型，做波士頓房?jī)r(jià)預(yù)測(cè)，代碼和結(jié)果如下：

1 import numpy as np 2 import matplotlib.pyplot as plt 3 ?4 from sklearn import ensemble 5 from sklearn import datasets 6 from sklearn.utils import shuffle 7 from sklearn.metrics import mean_squared_error 8 ?9 ###############################################################################10 # Load data11 boston = datasets.load_boston()12 X, y = shuffle(boston.data, boston.target, random_state=13)13 X = X.astype(np.float32)14 offset = int(X.shape[0] * 0.9)15 X_train, y_train = X[:offset], y[:offset]16 X_test, y_test = X[offset:], y[offset:]17 18 ###############################################################################19 # Fit regression model20 params = {'n_estimators': 500, 'max_depth': 4, 'min_samples_split': 1,21 ? ? ? ? ? 'learning_rate': 0.01, 'loss': 'ls'}22 clf = ensemble.GradientBoostingRegressor(**params)23 24 clf.fit(X_train, y_train)25 mse = mean_squared_error(y_test, clf.predict(X_test))26 print("MSE: %.4f" % mse)27 28 ###############################################################################29 # Plot training deviance30 31 # compute test set deviance32 test_score = np.zeros((params['n_estimators'],), dtype=np.float64)33 34 for i, y_pred in enumerate(clf.staged_predict(X_test)):35 ? ? test_score[i] = clf.loss_(y_test, y_pred)36 37 plt.figure(figsize=(12, 6))38 plt.subplot(1, 2, 1)39 plt.title('Deviance')40 plt.plot(np.arange(params['n_estimators']) + 1, clf.train_score_, 'b-',41 ? ? ? ? ?label='Training Set Deviance')42 plt.plot(np.arange(params['n_estimators']) + 1, test_score, 'r-',43 ? ? ? ? ?label='Test Set Deviance')44 plt.legend(loc='upper right')45 plt.xlabel('Boosting Iterations')46 plt.ylabel('Deviance')47 48 ###############################################################################49 # Plot feature importance50 feature_importance = clf.feature_importances_51 # make importances relative to max importance52 feature_importance = 100.0 * (feature_importance / feature_importance.max())53 sorted_idx = np.argsort(feature_importance)54 pos = np.arange(sorted_idx.shape[0]) + .555 plt.subplot(1, 2, 2)56 plt.barh(pos, feature_importance[sorted_idx], align='center')57 plt.yticks(pos, boston.feature_names[sorted_idx])58 plt.xlabel('Relative Importance')59 plt.title('Variable Importance')60 plt.show()

可以發(fā)現(xiàn)，如果要用Gradient Boosting 算法的話，在sklearn包里調(diào)用還是非常方便的，幾行代碼即可完成，大部分的工作應(yīng)該是在特征提取上。

感覺(jué)目前做數(shù)據(jù)挖掘的工作，特征設(shè)計(jì)是最重要的，據(jù)說(shuō)現(xiàn)在kaggle競(jìng)賽基本是GBDT的天下，優(yōu)劣其實(shí)還是特征上，感覺(jué)做項(xiàng)目也是，不斷的在研究數(shù)據(jù)中培養(yǎng)對(duì)數(shù)據(jù)的敏感度。

求python statsmodel中ARMA中的predict()函數(shù)和forecast（）用法

model.predict()(start='2017.09.01'，end='2017.12.01'）需要設(shè)置開(kāi)始時(shí)間與結(jié)束時(shí)間；model.forcast(step=5)直接設(shè)置樣本外的幾期就可以，eg:得到樣本外推5期即2018.01.01-2018.05.31五個(gè)月的預(yù)測(cè)值；

python中predict函數(shù)在哪個(gè)庫(kù)

一般來(lái)說(shuō)predict函數(shù)都是要import一些機(jī)器學(xué)習(xí)算法庫(kù)后用于建模后預(yù)測(cè)用的。比如說(shuō)sklearn庫(kù)里面的回歸，分類(lèi)，聚類(lèi)等等都是有對(duì)應(yīng)predict函數(shù)的。

舉個(gè)最簡(jiǎn)單的例子：

線性回歸的函數(shù)可以在C:\Python27\Lib\site-packages\sklearn\linear_model文件夾中找到。腳本名為base.py，predict（）在187行就有。

如何利用python機(jī)器學(xué)習(xí)預(yù)測(cè)分析核心算法

您好

基于以下三個(gè)原因，我們選擇Python作為實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法的編程語(yǔ)言：(1) Python的語(yǔ)法清晰；(2) 易于操作純文本文件；(3) 使用廣泛，存在大量的開(kāi)發(fā)文檔。

可執(zhí)行偽代碼

Python具有清晰的語(yǔ)法結(jié)構(gòu)，大家也把它稱(chēng)作可執(zhí)行偽代碼（executable pseudo-code）。默認(rèn)安裝的Python開(kāi)發(fā)環(huán)境已經(jīng)附帶了很多高級(jí)數(shù)據(jù)類(lèi)型，如列表、元組、字典、集合、隊(duì)列等，無(wú)需進(jìn)一步編程就可以使用這些數(shù)據(jù)類(lèi)型的操作。使用這些數(shù)據(jù)類(lèi)型使得實(shí)現(xiàn)抽象的數(shù)學(xué)概念非常簡(jiǎn)單。此外，讀者還可以使用自己熟悉的編程風(fēng)格，如面向?qū)ο缶幊獭⒚嫦蜻^(guò)程編程、或者函數(shù)式編程。不熟悉Python的讀者可以參閱附錄A，該附錄詳細(xì)介紹了Python語(yǔ)言、Python使用的數(shù)據(jù)類(lèi)型以及安裝指南。

Python語(yǔ)言處理和操作文本文件非常簡(jiǎn)單，非常易于處理非數(shù)值型數(shù)據(jù)。Python語(yǔ)言提供了豐富的正則表達(dá)式函數(shù)以及很多訪問(wèn)Web頁(yè)面的函數(shù)庫(kù)，使得從HTML中提取數(shù)據(jù)變得非常簡(jiǎn)單直觀。

Python比較流行

Python語(yǔ)言使用廣泛，代碼范例也很多，便于讀者快速學(xué)習(xí)和掌握。此外，在開(kāi)發(fā)實(shí)際應(yīng)用程序時(shí)，也可以利用豐富的模塊庫(kù)縮短開(kāi)發(fā)周期。

在科學(xué)和金融領(lǐng)域，Python語(yǔ)言得到了廣泛應(yīng)用。SciPy和NumPy等許多科學(xué)函數(shù)庫(kù)都實(shí)現(xiàn)了向量和矩陣操作，這些函數(shù)庫(kù)增加了代碼的可讀性，學(xué)過(guò)線性代數(shù)的人都可以看懂代碼的實(shí)際功能。另外，科學(xué)函數(shù)庫(kù)SciPy和NumPy使用底層語(yǔ)言（C和Fortran）編寫(xiě)，提高了相關(guān)應(yīng)用程序的計(jì)算性能。本書(shū)將大量使用Python的NumPy。

Python的科學(xué)工具可以與繪圖工具M(jìn)atplotlib協(xié)同工作。Matplotlib可以繪制2D、3D圖形，也可以處理科學(xué)研究中經(jīng)常使用到的圖形，所以本書(shū)也將大量使用Matplotlib。

Python開(kāi)發(fā)環(huán)境還提供了交互式shell環(huán)境，允許用戶(hù)開(kāi)發(fā)程序時(shí)查看和檢測(cè)程序內(nèi)容。

Python開(kāi)發(fā)環(huán)境將來(lái)還會(huì)集成Pylab模塊，它將NumPy、SciPy和Matplotlib合并為一個(gè)開(kāi)發(fā)環(huán)境。在本書(shū)寫(xiě)作時(shí)，Pylab還沒(méi)有并入Python環(huán)境，但是不遠(yuǎn)的將來(lái)我們肯定可以在Python開(kāi)發(fā)環(huán)境找到它。

分享文章：預(yù)測(cè)函數(shù)Python,預(yù)測(cè)函數(shù)forecast
轉(zhuǎn)載源于：http://chinadenli.net/article33/dsgjhps.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、建站公司、Google、做網(wǎng)站、網(wǎng)站維護(hù)、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)