注意代碼格式

目前創(chuàng)新互聯(lián)已為上1000+的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬主機(jī)、網(wǎng)站托管運(yùn)營、企業(yè)網(wǎng)站設(shè)計、鳳翔網(wǎng)站維護(hù)等服務(wù),公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協(xié)力一起成長,共同發(fā)展。
python以縮進(jìn)為標(biāo)準(zhǔn) 而不是像Java 以分號分隔
函數(shù)調(diào)用需要 寫在main函數(shù)內(nèi)
仔細(xì)檢查你的代碼格式和語法
希望可以幫助你? 請采納? 謝謝
import math
import random
random.seed(0)
def rand(a,b): #隨機(jī)函數(shù)
return (b-a)*random.random()+a
def make_matrix(m,n,fill=0.0):#創(chuàng)建一個指定大小的矩陣
mat = []
for i in range(m):
mat.append([fill]*n)
return mat
#定義sigmoid函數(shù)和它的導(dǎo)數(shù)
def sigmoid(x):
return 1.0/(1.0+math.exp(-x))
def sigmoid_derivate(x):
return x*(1-x) #sigmoid函數(shù)的導(dǎo)數(shù)
class BPNeuralNetwork:
def __init__(self):#初始化變量
self.input_n = 0
self.hidden_n = 0
self.output_n = 0
self.input_cells = []
self.hidden_cells = []
self.output_cells = []
self.input_weights = []
self.output_weights = []
self.input_correction = []
self.output_correction = []
#三個列表維護(hù):輸入層,隱含層,輸出層神經(jīng)元
def setup(self,ni,nh,no):
self.input_n = ni+1 #輸入層+偏置項
self.hidden_n = nh #隱含層
self.output_n = no #輸出層
#初始化神經(jīng)元
self.input_cells = [1.0]*self.input_n
self.hidden_cells= [1.0]*self.hidden_n
self.output_cells= [1.0]*self.output_n
#初始化連接邊的邊權(quán)
self.input_weights = make_matrix(self.input_n,self.hidden_n) #鄰接矩陣存邊權(quán):輸入層-隱藏層
self.output_weights = make_matrix(self.hidden_n,self.output_n) #鄰接矩陣存邊權(quán):隱藏層-輸出層
#隨機(jī)初始化邊權(quán):為了反向傳導(dǎo)做準(zhǔn)備---隨機(jī)初始化的目的是使對稱失效
for i in range(self.input_n):
for h in range(self.hidden_n):
self.input_weights[i][h] = rand(-0.2 , 0.2) #由輸入層第i個元素到隱藏層第j個元素的邊權(quán)為隨機(jī)值
for h in range(self.hidden_n):
for o in range(self.output_n):
self.output_weights[h][o] = rand(-2.0, 2.0) #由隱藏層第i個元素到輸出層第j個元素的邊權(quán)為隨機(jī)值
#保存校正矩陣,為了以后誤差做調(diào)整
self.input_correction = make_matrix(self.input_n , self.hidden_n)
self.output_correction = make_matrix(self.hidden_n,self.output_n)
#輸出預(yù)測值
def predict(self,inputs):
#對輸入層進(jìn)行操作轉(zhuǎn)化樣本
for i in range(self.input_n-1):
self.input_cells[i] = inputs[i] #n個樣本從0~n-1
#計算隱藏層的輸出,每個節(jié)點(diǎn)最終的輸出值就是權(quán)值*節(jié)點(diǎn)值的加權(quán)和
for j in range(self.hidden_n):
total = 0.0
for i in range(self.input_n):
total+=self.input_cells[i]*self.input_weights[i][j]
# 此處為何是先i再j,以隱含層節(jié)點(diǎn)做大循環(huán),輸入樣本為小循環(huán),是為了每一個隱藏節(jié)點(diǎn)計算一個輸出值,傳輸?shù)较乱粚?/p>
self.hidden_cells[j] = sigmoid(total) #此節(jié)點(diǎn)的輸出是前一層所有輸入點(diǎn)和到該點(diǎn)之間的權(quán)值加權(quán)和
for k in range(self.output_n):
total = 0.0
for j in range(self.hidden_n):
total+=self.hidden_cells[j]*self.output_weights[j][k]
self.output_cells[k] = sigmoid(total) #獲取輸出層每個元素的值
return self.output_cells[:] #最后輸出層的結(jié)果返回
#反向傳播算法:調(diào)用預(yù)測函數(shù),根據(jù)反向傳播獲取權(quán)重后前向預(yù)測,將結(jié)果與實際結(jié)果返回比較誤差
def back_propagate(self,case,label,learn,correct):
#對輸入樣本做預(yù)測
self.predict(case) #對實例進(jìn)行預(yù)測
output_deltas = [0.0]*self.output_n #初始化矩陣
for o in range(self.output_n):
error = label[o] - self.output_cells[o] #正確結(jié)果和預(yù)測結(jié)果的誤差:0,1,-1
output_deltas[o]= sigmoid_derivate(self.output_cells[o])*error#誤差穩(wěn)定在0~1內(nèi)
#隱含層誤差
hidden_deltas = [0.0]*self.hidden_n
for h in range(self.hidden_n):
error = 0.0
for o in range(self.output_n):
error+=output_deltas[o]*self.output_weights[h][o]
hidden_deltas[h] = sigmoid_derivate(self.hidden_cells[h])*error
#反向傳播算法求W
#更新隱藏層-輸出權(quán)重
for h in range(self.hidden_n):
for o in range(self.output_n):
change = output_deltas[o]*self.hidden_cells[h]
#調(diào)整權(quán)重:上一層每個節(jié)點(diǎn)的權(quán)重學(xué)習(xí)*變化+矯正率
self.output_weights[h][o] += learn*change + correct*self.output_correction[h][o]
#更新輸入-隱藏層的權(quán)重
for i in range(self.input_n):
for h in range(self.hidden_n):
change = hidden_deltas[h]*self.input_cells[i]
self.input_weights[i][h] += learn*change + correct*self.input_correction[i][h]
self.input_correction[i][h] = change
#獲取全局誤差
error = 0.0
for o in range(len(label)):
error = 0.5*(label[o]-self.output_cells[o])**2 #平方誤差函數(shù)
return error
def train(self,cases,labels,limit=10000,learn=0.05,correct=0.1):
for i in range(limit): #設(shè)置迭代次數(shù)
error = 0.0
for j in range(len(cases)):#對輸入層進(jìn)行訪問
label = labels[j]
case = cases[j]
error+=self.back_propagate(case,label,learn,correct) #樣例,標(biāo)簽,學(xué)習(xí)率,正確閾值
def test(self): #學(xué)習(xí)異或
cases = [
[0, 0],
[0, 1],
[1, 0],
[1, 1],
] #測試樣例
labels = [[0], [1], [1], [0]] #標(biāo)簽
self.setup(2,5,1) #初始化神經(jīng)網(wǎng)絡(luò):輸入層,隱藏層,輸出層元素個數(shù)
self.train(cases,labels,10000,0.05,0.1) #可以更改
for case in cases:
print(self.predict(case))
if __name__ == '__main__':
nn = BPNeuralNetwork()
nn.test()
inname = r"C:\Python27\esri.shp"
outname = "outname.cst"
# 在此處調(diào)用該函數(shù)。函數(shù)體定義必須放在調(diào)用以前。可以通過import
read_ESRT_……(file = inname, fileOut = outname)
# 這兩個參數(shù)只是字符串而已,指明你的文件路徑。注意在python中,若有 \ 號,則最好使用 \\ 雙斜杠,或者如上例,加上前綴 r
1、函數(shù)定義
①使用def關(guān)鍵字定義函數(shù)
②
def 函數(shù)名(參數(shù)1.參數(shù)2.參數(shù)3...):
"""文檔字符串,docstring,用來說明函數(shù)的作用"""
#函數(shù)體
return 表達(dá)式
注釋的作用:說明函數(shù)是做什么的,函數(shù)有什么功能。
③遇到冒號要縮進(jìn),冒號后面所有的縮進(jìn)的代碼塊構(gòu)成了函數(shù)體,描述了函數(shù)是做什么的,即函數(shù)的功能是什么。Python函數(shù)的本質(zhì)與數(shù)學(xué)中的函數(shù)的本質(zhì)是一致的。
2、函數(shù)調(diào)用
①函數(shù)必須先定義,才能調(diào)用,否則會報錯。
②無參數(shù)時函數(shù)的調(diào)用:函數(shù)名(),有參數(shù)時函數(shù)的調(diào)用:函數(shù)名(參數(shù)1.參數(shù)2.……)
③不要在定義函數(shù)的時候在函數(shù)體里面調(diào)用本身,否則會出不來,陷入循環(huán)調(diào)用。
④函數(shù)需要調(diào)用函數(shù)體才會被執(zhí)行,單純的只是定義函數(shù)是不會被執(zhí)行的。
⑤Debug工具中Step into進(jìn)入到調(diào)用的函數(shù)里,Step Into My Code進(jìn)入到調(diào)用的模塊里函數(shù)。
大部分函數(shù)都長這樣:函數(shù)名(參數(shù))
要調(diào)用函數(shù)就直接使用函數(shù)名加參數(shù)就可以了。
可以
最近項目中涉及基于Gradient Boosting Regression 算法擬合時間序列曲線的內(nèi)容,利用python機(jī)器學(xué)習(xí)包?scikit-learn 中的GradientBoostingRegressor完成
因此就學(xué)習(xí)了下Gradient Boosting算法,在這里分享下我的理解
Boosting 算法簡介
Boosting算法,我理解的就是兩個思想:
1)“三個臭皮匠頂個諸葛亮”,一堆弱分類器的組合就可以成為一個強(qiáng)分類器;
2)“知錯能改,善莫大焉”,不斷地在錯誤中學(xué)習(xí),迭代來降低犯錯概率
當(dāng)然,要理解好Boosting的思想,首先還是從弱學(xué)習(xí)算法和強(qiáng)學(xué)習(xí)算法來引入:
1)強(qiáng)學(xué)習(xí)算法:存在一個多項式時間的學(xué)習(xí)算法以識別一組概念,且識別的正確率很高;
2)弱學(xué)習(xí)算法:識別一組概念的正確率僅比隨機(jī)猜測略好;
Kearns Valiant證明了弱學(xué)習(xí)算法與強(qiáng)學(xué)習(xí)算法的等價問題,如果兩者等價,只需找到一個比隨機(jī)猜測略好的學(xué)習(xí)算法,就可以將其提升為強(qiáng)學(xué)習(xí)算法。
那么是怎么實現(xiàn)“知錯就改”的呢?
Boosting算法,通過一系列的迭代來優(yōu)化分類結(jié)果,每迭代一次引入一個弱分類器,來克服現(xiàn)在已經(jīng)存在的弱分類器組合的shortcomings
在Adaboost算法中,這個shortcomings的表征就是權(quán)值高的樣本點(diǎn)
而在Gradient Boosting算法中,這個shortcomings的表征就是梯度
無論是Adaboost還是Gradient Boosting,都是通過這個shortcomings來告訴學(xué)習(xí)器怎么去提升模型,也就是“Boosting”這個名字的由來吧
Adaboost算法
Adaboost是由Freund 和 Schapire在1997年提出的,在整個訓(xùn)練集上維護(hù)一個分布權(quán)值向量W,用賦予權(quán)重的訓(xùn)練集通過弱分類算法產(chǎn)生分類假設(shè)(基學(xué)習(xí)器)y(x),然后計算錯誤率,用得到的錯誤率去更新分布權(quán)值向量w,對錯誤分類的樣本分配更大的權(quán)值,正確分類的樣本賦予更小的權(quán)值。每次更新后用相同的弱分類算法產(chǎn)生新的分類假設(shè),這些分類假設(shè)的序列構(gòu)成多分類器。對這些多分類器用加權(quán)的方法進(jìn)行聯(lián)合,最后得到?jīng)Q策結(jié)果。
其結(jié)構(gòu)如下圖所示:
前一個學(xué)習(xí)器改變權(quán)重w,然后再經(jīng)過下一個學(xué)習(xí)器,最終所有的學(xué)習(xí)器共同組成最后的學(xué)習(xí)器。
如果一個樣本在前一個學(xué)習(xí)器中被誤分,那么它所對應(yīng)的權(quán)重會被加重,相應(yīng)地,被正確分類的樣本的權(quán)重會降低。
這里主要涉及到兩個權(quán)重的計算問題:
1)樣本的權(quán)值
1 沒有先驗知識的情況下,初始的分布應(yīng)為等概分布,樣本數(shù)目為n,權(quán)值為1/n
2 每一次的迭代更新權(quán)值,提高分錯樣本的權(quán)重
2)弱學(xué)習(xí)器的權(quán)值
1 最后的強(qiáng)學(xué)習(xí)器是通過多個基學(xué)習(xí)器通過權(quán)值組合得到的。
2 通過權(quán)值體現(xiàn)不同基學(xué)習(xí)器的影響,正確率高的基學(xué)習(xí)器權(quán)重高。實際上是分類誤差的一個函數(shù)
Gradient Boosting
和Adaboost不同,Gradient Boosting 在迭代的時候選擇梯度下降的方向來保證最后的結(jié)果最好。
損失函數(shù)用來描述模型的“靠譜”程度,假設(shè)模型沒有過擬合,損失函數(shù)越大,模型的錯誤率越高
如果我們的模型能夠讓損失函數(shù)持續(xù)的下降,則說明我們的模型在不停的改進(jìn),而最好的方式就是讓損失函數(shù)在其梯度方向上下降。
下面這個流程圖是Gradient Boosting的經(jīng)典圖了,數(shù)學(xué)推導(dǎo)并不復(fù)雜,只要理解了Boosting的思想,不難看懂
這里是直接對模型的函數(shù)進(jìn)行更新,利用了參數(shù)可加性推廣到函數(shù)空間。
訓(xùn)練F0-Fm一共m個基學(xué)習(xí)器,沿著梯度下降的方向不斷更新ρm和am
GradientBoostingRegressor實現(xiàn)
python中的scikit-learn包提供了很方便的GradientBoostingRegressor和GBDT的函數(shù)接口,可以很方便的調(diào)用函數(shù)就可以完成模型的訓(xùn)練和預(yù)測
GradientBoostingRegressor函數(shù)的參數(shù)如下:
class sklearn.ensemble.GradientBoostingRegressor(loss='ls', learning_rate=0.1, n_estimators=100, subsample=1.0, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, init=None, random_state=None, max_features=None, alpha=0.9, verbose=0, max_leaf_nodes=None, warm_start=False, presort='auto')[source]?
loss: 選擇損失函數(shù),默認(rèn)值為ls(least squres)
learning_rate: 學(xué)習(xí)率,模型是0.1
n_estimators: 弱學(xué)習(xí)器的數(shù)目,默認(rèn)值100
max_depth: 每一個學(xué)習(xí)器的最大深度,限制回歸樹的節(jié)點(diǎn)數(shù)目,默認(rèn)為3
min_samples_split: 可以劃分為內(nèi)部節(jié)點(diǎn)的最小樣本數(shù),默認(rèn)為2
min_samples_leaf: 葉節(jié)點(diǎn)所需的最小樣本數(shù),默認(rèn)為1
……
可以參考
官方文檔里帶了一個很好的例子,以500個弱學(xué)習(xí)器,最小平方誤差的梯度提升模型,做波士頓房價預(yù)測,代碼和結(jié)果如下:
1 import numpy as np 2 import matplotlib.pyplot as plt 3 ?4 from sklearn import ensemble 5 from sklearn import datasets 6 from sklearn.utils import shuffle 7 from sklearn.metrics import mean_squared_error 8 ?9 ###############################################################################10 # Load data11 boston = datasets.load_boston()12 X, y = shuffle(boston.data, boston.target, random_state=13)13 X = X.astype(np.float32)14 offset = int(X.shape[0] * 0.9)15 X_train, y_train = X[:offset], y[:offset]16 X_test, y_test = X[offset:], y[offset:]17 18 ###############################################################################19 # Fit regression model20 params = {'n_estimators': 500, 'max_depth': 4, 'min_samples_split': 1,21 ? ? ? ? ? 'learning_rate': 0.01, 'loss': 'ls'}22 clf = ensemble.GradientBoostingRegressor(**params)23 24 clf.fit(X_train, y_train)25 mse = mean_squared_error(y_test, clf.predict(X_test))26 print("MSE: %.4f" % mse)27 28 ###############################################################################29 # Plot training deviance30 31 # compute test set deviance32 test_score = np.zeros((params['n_estimators'],), dtype=np.float64)33 34 for i, y_pred in enumerate(clf.staged_predict(X_test)):35 ? ? test_score[i] = clf.loss_(y_test, y_pred)36 37 plt.figure(figsize=(12, 6))38 plt.subplot(1, 2, 1)39 plt.title('Deviance')40 plt.plot(np.arange(params['n_estimators']) + 1, clf.train_score_, 'b-',41 ? ? ? ? ?label='Training Set Deviance')42 plt.plot(np.arange(params['n_estimators']) + 1, test_score, 'r-',43 ? ? ? ? ?label='Test Set Deviance')44 plt.legend(loc='upper right')45 plt.xlabel('Boosting Iterations')46 plt.ylabel('Deviance')47 48 ###############################################################################49 # Plot feature importance50 feature_importance = clf.feature_importances_51 # make importances relative to max importance52 feature_importance = 100.0 * (feature_importance / feature_importance.max())53 sorted_idx = np.argsort(feature_importance)54 pos = np.arange(sorted_idx.shape[0]) + .555 plt.subplot(1, 2, 2)56 plt.barh(pos, feature_importance[sorted_idx], align='center')57 plt.yticks(pos, boston.feature_names[sorted_idx])58 plt.xlabel('Relative Importance')59 plt.title('Variable Importance')60 plt.show()
可以發(fā)現(xiàn),如果要用Gradient Boosting 算法的話,在sklearn包里調(diào)用還是非常方便的,幾行代碼即可完成,大部分的工作應(yīng)該是在特征提取上。
感覺目前做數(shù)據(jù)挖掘的工作,特征設(shè)計是最重要的,據(jù)說現(xiàn)在kaggle競賽基本是GBDT的天下,優(yōu)劣其實還是特征上,感覺做項目也是,不斷的在研究數(shù)據(jù)中培養(yǎng)對數(shù)據(jù)的敏感度。
當(dāng)前標(biāo)題:調(diào)用預(yù)測函數(shù)python,預(yù)測函數(shù)控制
網(wǎng)頁地址:http://chinadenli.net/article23/dsedsjs.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供手機(jī)網(wǎng)站建設(shè)、營銷型網(wǎng)站建設(shè)、標(biāo)簽優(yōu)化、網(wǎng)站制作、App設(shè)計、搜索引擎優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)