python gradientboostingregressor可以做預(yù)測嗎

可以

我們提供的服務(wù)有：成都做網(wǎng)站、成都網(wǎng)站建設(shè)、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、海興ssl等。為近千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的海興網(wǎng)站制作公司

最近項(xiàng)目中涉及基于Gradient Boosting Regression 算法擬合時(shí)間序列曲線的內(nèi)容，利用python機(jī)器學(xué)習(xí)包?scikit-learn 中的GradientBoostingRegressor完成

因此就學(xué)習(xí)了下Gradient Boosting算法，在這里分享下我的理解

Boosting 算法簡介

Boosting算法，我理解的就是兩個(gè)思想：

1）“三個(gè)臭皮匠頂個(gè)諸葛亮”，一堆弱分類器的組合就可以成為一個(gè)強(qiáng)分類器；

2）“知錯(cuò)能改，善莫大焉”，不斷地在錯(cuò)誤中學(xué)習(xí)，迭代來降低犯錯(cuò)概率

當(dāng)然，要理解好Boosting的思想，首先還是從弱學(xué)習(xí)算法和強(qiáng)學(xué)習(xí)算法來引入：

1）強(qiáng)學(xué)習(xí)算法：存在一個(gè)多項(xiàng)式時(shí)間的學(xué)習(xí)算法以識別一組概念，且識別的正確率很高；

2）弱學(xué)習(xí)算法：識別一組概念的正確率僅比隨機(jī)猜測略好；

Kearns Valiant證明了弱學(xué)習(xí)算法與強(qiáng)學(xué)習(xí)算法的等價(jià)問題，如果兩者等價(jià)，只需找到一個(gè)比隨機(jī)猜測略好的學(xué)習(xí)算法，就可以將其提升為強(qiáng)學(xué)習(xí)算法。

那么是怎么實(shí)現(xiàn)“知錯(cuò)就改”的呢？

Boosting算法，通過一系列的迭代來優(yōu)化分類結(jié)果，每迭代一次引入一個(gè)弱分類器，來克服現(xiàn)在已經(jīng)存在的弱分類器組合的shortcomings

在Adaboost算法中，這個(gè)shortcomings的表征就是權(quán)值高的樣本點(diǎn)

而在Gradient Boosting算法中,這個(gè)shortcomings的表征就是梯度

無論是Adaboost還是Gradient Boosting，都是通過這個(gè)shortcomings來告訴學(xué)習(xí)器怎么去提升模型，也就是“Boosting”這個(gè)名字的由來吧

Adaboost算法

Adaboost是由Freund 和 Schapire在1997年提出的，在整個(gè)訓(xùn)練集上維護(hù)一個(gè)分布權(quán)值向量W,用賦予權(quán)重的訓(xùn)練集通過弱分類算法產(chǎn)生分類假設(shè)（基學(xué)習(xí)器）y(x),然后計(jì)算錯(cuò)誤率,用得到的錯(cuò)誤率去更新分布權(quán)值向量w,對錯(cuò)誤分類的樣本分配更大的權(quán)值,正確分類的樣本賦予更小的權(quán)值。每次更新后用相同的弱分類算法產(chǎn)生新的分類假設(shè),這些分類假設(shè)的序列構(gòu)成多分類器。對這些多分類器用加權(quán)的方法進(jìn)行聯(lián)合,最后得到?jīng)Q策結(jié)果。

其結(jié)構(gòu)如下圖所示：

前一個(gè)學(xué)習(xí)器改變權(quán)重w，然后再經(jīng)過下一個(gè)學(xué)習(xí)器，最終所有的學(xué)習(xí)器共同組成最后的學(xué)習(xí)器。

如果一個(gè)樣本在前一個(gè)學(xué)習(xí)器中被誤分，那么它所對應(yīng)的權(quán)重會被加重，相應(yīng)地，被正確分類的樣本的權(quán)重會降低。

這里主要涉及到兩個(gè)權(quán)重的計(jì)算問題：

1）樣本的權(quán)值

1 沒有先驗(yàn)知識的情況下,初始的分布應(yīng)為等概分布,樣本數(shù)目為n,權(quán)值為1/n

2 每一次的迭代更新權(quán)值，提高分錯(cuò)樣本的權(quán)重

2）弱學(xué)習(xí)器的權(quán)值

1 最后的強(qiáng)學(xué)習(xí)器是通過多個(gè)基學(xué)習(xí)器通過權(quán)值組合得到的。

2 通過權(quán)值體現(xiàn)不同基學(xué)習(xí)器的影響,正確率高的基學(xué)習(xí)器權(quán)重高。實(shí)際上是分類誤差的一個(gè)函數(shù)

Gradient Boosting

和Adaboost不同，Gradient Boosting 在迭代的時(shí)候選擇梯度下降的方向來保證最后的結(jié)果最好。

損失函數(shù)用來描述模型的“靠譜”程度，假設(shè)模型沒有過擬合，損失函數(shù)越大，模型的錯(cuò)誤率越高

如果我們的模型能夠讓損失函數(shù)持續(xù)的下降，則說明我們的模型在不停的改進(jìn)，而最好的方式就是讓損失函數(shù)在其梯度方向上下降。

下面這個(gè)流程圖是Gradient Boosting的經(jīng)典圖了，數(shù)學(xué)推導(dǎo)并不復(fù)雜，只要理解了Boosting的思想，不難看懂

這里是直接對模型的函數(shù)進(jìn)行更新，利用了參數(shù)可加性推廣到函數(shù)空間。

訓(xùn)練F0-Fm一共m個(gè)基學(xué)習(xí)器，沿著梯度下降的方向不斷更新ρm和am

GradientBoostingRegressor實(shí)現(xiàn)

python中的scikit-learn包提供了很方便的GradientBoostingRegressor和GBDT的函數(shù)接口，可以很方便的調(diào)用函數(shù)就可以完成模型的訓(xùn)練和預(yù)測

GradientBoostingRegressor函數(shù)的參數(shù)如下：

class sklearn.ensemble.GradientBoostingRegressor(loss='ls', learning_rate=0.1, n_estimators=100, subsample=1.0, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, init=None, random_state=None, max_features=None, alpha=0.9, verbose=0, max_leaf_nodes=None, warm_start=False, presort='auto')[source]?

loss: 選擇損失函數(shù)，默認(rèn)值為ls(least squres)

learning_rate: 學(xué)習(xí)率，模型是0.1

n_estimators: 弱學(xué)習(xí)器的數(shù)目，默認(rèn)值100

max_depth: 每一個(gè)學(xué)習(xí)器的最大深度，限制回歸樹的節(jié)點(diǎn)數(shù)目，默認(rèn)為3

min_samples_split: 可以劃分為內(nèi)部節(jié)點(diǎn)的最小樣本數(shù)，默認(rèn)為2

min_samples_leaf: 葉節(jié)點(diǎn)所需的最小樣本數(shù)，默認(rèn)為1

……

可以參考

官方文檔里帶了一個(gè)很好的例子，以500個(gè)弱學(xué)習(xí)器，最小平方誤差的梯度提升模型，做波士頓房價(jià)預(yù)測，代碼和結(jié)果如下：

1 import numpy as np 2 import matplotlib.pyplot as plt 3 ?4 from sklearn import ensemble 5 from sklearn import datasets 6 from sklearn.utils import shuffle 7 from sklearn.metrics import mean_squared_error 8 ?9 ###############################################################################10 # Load data11 boston = datasets.load_boston()12 X, y = shuffle(boston.data, boston.target, random_state=13)13 X = X.astype(np.float32)14 offset = int(X.shape[0] * 0.9)15 X_train, y_train = X[:offset], y[:offset]16 X_test, y_test = X[offset:], y[offset:]17 18 ###############################################################################19 # Fit regression model20 params = {'n_estimators': 500, 'max_depth': 4, 'min_samples_split': 1,21 ? ? ? ? ? 'learning_rate': 0.01, 'loss': 'ls'}22 clf = ensemble.GradientBoostingRegressor(**params)23 24 clf.fit(X_train, y_train)25 mse = mean_squared_error(y_test, clf.predict(X_test))26 print("MSE: %.4f" % mse)27 28 ###############################################################################29 # Plot training deviance30 31 # compute test set deviance32 test_score = np.zeros((params['n_estimators'],), dtype=np.float64)33 34 for i, y_pred in enumerate(clf.staged_predict(X_test)):35 ? ? test_score[i] = clf.loss_(y_test, y_pred)36 37 plt.figure(figsize=(12, 6))38 plt.subplot(1, 2, 1)39 plt.title('Deviance')40 plt.plot(np.arange(params['n_estimators']) + 1, clf.train_score_, 'b-',41 ? ? ? ? ?label='Training Set Deviance')42 plt.plot(np.arange(params['n_estimators']) + 1, test_score, 'r-',43 ? ? ? ? ?label='Test Set Deviance')44 plt.legend(loc='upper right')45 plt.xlabel('Boosting Iterations')46 plt.ylabel('Deviance')47 48 ###############################################################################49 # Plot feature importance50 feature_importance = clf.feature_importances_51 # make importances relative to max importance52 feature_importance = 100.0 * (feature_importance / feature_importance.max())53 sorted_idx = np.argsort(feature_importance)54 pos = np.arange(sorted_idx.shape[0]) + .555 plt.subplot(1, 2, 2)56 plt.barh(pos, feature_importance[sorted_idx], align='center')57 plt.yticks(pos, boston.feature_names[sorted_idx])58 plt.xlabel('Relative Importance')59 plt.title('Variable Importance')60 plt.show()

可以發(fā)現(xiàn)，如果要用Gradient Boosting 算法的話，在sklearn包里調(diào)用還是非常方便的，幾行代碼即可完成，大部分的工作應(yīng)該是在特征提取上。

感覺目前做數(shù)據(jù)挖掘的工作，特征設(shè)計(jì)是最重要的，據(jù)說現(xiàn)在kaggle競賽基本是GBDT的天下，優(yōu)劣其實(shí)還是特征上，感覺做項(xiàng)目也是，不斷的在研究數(shù)據(jù)中培養(yǎng)對數(shù)據(jù)的敏感度。

python之KS曲線

# 自定義繪制ks曲線的函數(shù)

def plot_ks(y_test, y_score, positive_flag):

# 對y_test,y_score重新設(shè)置索引

y_test.index = np.arange(len(y_test))

#y_score.index = np.arange(len(y_score))

# 構(gòu)建目標(biāo)數(shù)據(jù)集

target_data = pd.DataFrame({'y_test':y_test, 'y_score':y_score})

# 按y_score降序排列

target_data.sort_values(by = 'y_score', ascending = False, inplace = True)

# 自定義分位點(diǎn)

cuts = np.arange(0.1,1,0.1)

# 計(jì)算各分位點(diǎn)對應(yīng)的Score值

index = len(target_data.y_score)*cuts

scores = target_data.y_score.iloc[index.astype('int')]

# 根據(jù)不同的Score值，計(jì)算Sensitivity和Specificity

Sensitivity = []

Specificity = []

for score in scores:

? ? # 正例覆蓋樣本數(shù)量與實(shí)際正例樣本量

? ? positive_recall = target_data.loc[(target_data.y_test == positive_flag) (target_data.y_scorescore),:].shape[0]

? ? positive = sum(target_data.y_test == positive_flag)

? ? # 負(fù)例覆蓋樣本數(shù)量與實(shí)際負(fù)例樣本量

? ? negative_recall = target_data.loc[(target_data.y_test != positive_flag) (target_data.y_score=score),:].shape[0]

? ? negative = sum(target_data.y_test != positive_flag)

? ? Sensitivity.append(positive_recall/positive)

? ? Specificity.append(negative_recall/negative)

# 構(gòu)建繪圖數(shù)據(jù)

plot_data = pd.DataFrame({'cuts':cuts,'y1':1-np.array(Specificity),'y2':np.array(Sensitivity),

? ? ? ? ? ? ? ? ? ? ? ? ? 'ks':np.array(Sensitivity)-(1-np.array(Specificity))})

# 尋找Sensitivity和1-Specificity之差的最大值索引

max_ks_index = np.argmax(plot_data.ks)

plt.plot([0]+cuts.tolist()+[1], [0]+plot_data.y1.tolist()+[1], label = '1-Specificity')

plt.plot([0]+cuts.tolist()+[1], [0]+plot_data.y2.tolist()+[1], label = 'Sensitivity')

# 添加參考線

plt.vlines(plot_data.cuts[max_ks_index], ymin = plot_data.y1[max_ks_index],

? ? ? ? ? ymax = plot_data.y2[max_ks_index], linestyles = '--')

# 添加文本信息

plt.text(x = plot_data.cuts[max_ks_index]+0.01,

? ? ? ? y = plot_data.y1[max_ks_index]+plot_data.ks[max_ks_index]/2,

? ? ? ? s = 'KS= %.2f' %plot_data.ks[max_ks_index])

# 顯示圖例

plt.legend()

# 顯示圖形

plt.show()

# 調(diào)用自定義函數(shù)，繪制K-S曲線

plot_ks(y_test = y_test, y_score = y_score, positive_flag = 1)

Python 中的函數(shù)擬合

很多業(yè)務(wù)場景中，我們希望通過一個(gè)特定的函數(shù)來擬合業(yè)務(wù)數(shù)據(jù)，以此來預(yù)測未來數(shù)據(jù)的變化趨勢。(比如用戶的留存變化、付費(fèi)變化等)

本文主要介紹在 Python 中常用的兩種曲線擬合方法：多項(xiàng)式擬合 和 自定義函數(shù)擬合。

通過多項(xiàng)式擬合，我們只需要指定想要擬合的多項(xiàng)式的最高項(xiàng)次是多少即可。

運(yùn)行結(jié)果：

對于自定義函數(shù)擬合，不僅可以用于直線、二次曲線、三次曲線的擬合，它可以適用于任意形式的曲線的擬合，只要定義好合適的曲線方程即可。

運(yùn)行結(jié)果：

用Python怎么預(yù)測折線圖的未來趨勢

單靠折線圖的話恐怕是不行的，但你可以從折線圖上選點(diǎn)，用指數(shù)平滑曲線或者多項(xiàng)式線性模型去擬合，得到曲線模型。或者，可以使用非參的方法，例如k近鄰，logistic方法去預(yù)測點(diǎn)的走勢。

python如何繪制預(yù)測模型校準(zhǔn)圖

python繪制預(yù)測模型校準(zhǔn)圖可以使用校準(zhǔn)曲線，因?yàn)轭A(yù)測一個(gè)模型校準(zhǔn)的最簡單的方法是通過一個(gè)稱為“校準(zhǔn)曲線”的圖（也稱為“可靠性圖”，reliability diagram）。

這個(gè)方法主要是將觀察到的結(jié)果通過概率劃分為幾類（bin）。因此，屬于同一類的觀測值具有相近的概率。

對于每個(gè)類，校準(zhǔn)曲線將預(yù)測這個(gè)類的平均值，然后將預(yù)測概率的平均值與理論平均值（即觀察到的目標(biāo)變量的平均值）進(jìn)行比較。

你只需要確定類的數(shù)量和以下兩者之間的分類策略即可：

1、“uniform”，一個(gè)0-1的間隔被分為n_bins個(gè)類，它們都具有相同的寬度。

2、“quantile”，類的邊緣被定義，從而使得每個(gè)類都具有相同數(shù)量的觀測值。

假設(shè)你的模型具有良好的精度，則校準(zhǔn)曲線將單調(diào)增加。但這并不意味著模型已被正確校準(zhǔn)。實(shí)際上，只有在校準(zhǔn)曲線非常接近等分線時(shí)（即下圖中的灰色虛線），您的模型才能得到很好的校準(zhǔn)，因?yàn)檫@將意味著預(yù)測概率基本上接近理論概率。

python繪制預(yù)測模型中如何解決校準(zhǔn)錯(cuò)誤：

假設(shè)你已經(jīng)訓(xùn)練了一個(gè)分類器，該分類器會產(chǎn)生準(zhǔn)確但未經(jīng)校準(zhǔn)的概率。概率校準(zhǔn)的思想是建立第二個(gè)模型（稱為校準(zhǔn)器），校準(zhǔn)器模型能夠?qū)⒛阌?xùn)練的分類器“校準(zhǔn)”為實(shí)際概率。

因此，校準(zhǔn)包括了將一個(gè)一維矢量（未校準(zhǔn)概率）轉(zhuǎn)換為另一個(gè)一維矢量（已校準(zhǔn)概率）的功能。

兩種常被用作校準(zhǔn)器的方法：

1、保序回歸：一種非參數(shù)算法，這種非參數(shù)算法將非遞減的自由格式行擬合到數(shù)據(jù)中。行不會減少這一事實(shí)是很重要的，因?yàn)樗駨脑寂判颉?/p>

2、邏輯回歸：現(xiàn)在有三種選擇來預(yù)測概率：普通隨機(jī)森林、隨機(jī)森林 + 保序回歸、隨機(jī)森林 + 邏輯回歸。

網(wǎng)站欄目：python曲線函數(shù)預(yù)測,Python繪制曲線
本文來源：http://chinadenli.net/article7/dsesgij.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動態(tài)網(wǎng)站、面包屑導(dǎo)航、、標(biāo)簽優(yōu)化、網(wǎng)站改版、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)