Python怎么做最優(yōu)化

最優(yōu)化

創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供瑞金網(wǎng)站建設(shè)、瑞金做網(wǎng)站、瑞金網(wǎng)站設(shè)計、瑞金網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、瑞金企業(yè)網(wǎng)站模板建站服務(wù)，10年瑞金做網(wǎng)站經(jīng)驗，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。

為什么要做最優(yōu)化呢？因為在生活中，人們總是希望幸福值或其它達到一個極值，比如做生意時希望成本最小，收入最大，所以在很多商業(yè)情境中，都會遇到求極值的情況。

函數(shù)求根

這里「函數(shù)的根」也稱「方程的根」，或「函數(shù)的零點」。

先把我們需要的包加載進來。import numpy as npimport scipy as spimport scipy.optimize as optimport matplotlib.pyplot as plt%matplotlib inline

函數(shù)求根和最優(yōu)化的關(guān)系？什么時候函數(shù)是最小值或最大值？

兩個問題一起回答：最優(yōu)化就是求函數(shù)的最小值或最大值，同時也是極值，在求一個函數(shù)最小值或最大值時，它所在的位置肯定是導(dǎo)數(shù)為 0 的位置，所以要求一個函數(shù)的極值，必然要先求導(dǎo)，使其為 0，所以函數(shù)求根就是為了得到最大值最小值。

scipy.optimize 有什么方法可以求根？

可以用 scipy.optimize 中的 bisect 或 brentq 求根。f = lambda x: np.cos(x) - x # 定義一個匿名函數(shù)x = np.linspace(-5, 5, 1000) # 先生成 1000 個 xy = f(x) # 對應(yīng)生成 1000 個 f(x)plt.plot(x, y); # 看一下這個函數(shù)長什么樣子plt.axhline(0, color='k'); # 畫一根橫線，位置在 y=0

opt.bisect(f, -5, 5) # 求取函數(shù)的根0.7390851332155535plt.plot(x, y)plt.axhline(0, color='k')plt.scatter([_], [0], c='r', s=100); # 這里的 [_] 表示上一個 Cell 中的結(jié)果，這里是 x 軸上的位置，0 是 y 上的位置

求根有兩種方法，除了上面介紹的 bisect，還有 brentq，后者比前者快很多。%timeit opt.bisect(f, -5, 5)%timeit opt.brentq(f, -5, 5)10000 loops, best of 3: 157 s per loopThe slowest run took 11.65 times longer than the fastest. This could mean that an intermediate result is being cached.10000 loops, best of 3: 35.9 s per loop

函數(shù)求最小化

求最小值就是一個最優(yōu)化問題。求最大值時只需對函數(shù)做一個轉(zhuǎn)換，比如加一個負號，或者取倒數(shù)，就可轉(zhuǎn)成求最小值問題。所以兩者是同一問題。

初始值對最優(yōu)化的影響是什么？

舉例來說，先定義個函數(shù)。f = lambda x: 1-np.sin(x)/xx = np.linspace(-20., 20., 1000)y = f(x)

當初始值為 3 值，使用 minimize 函數(shù)找到最小值。minimize 函數(shù)是在新版的 scipy 里，取代了以前的很多最優(yōu)化函數(shù)，是個通用的接口，背后是很多方法在支撐。x0 = 3xmin = opt.minimize(f, x0).x # x0 是起始點，起始點最好離真正的最小值點不要太遠plt.plot(x, y)plt.scatter(x0, f(x0), marker='o', s=300); # 起始點畫出來，用圓圈表示plt.scatter(xmin, f(xmin), marker='v', s=300); # 最小值點畫出來，用三角表示plt.xlim(-20, 20);

初始值為 3 時，成功找到最小值。

現(xiàn)在來看看初始值為 10 時，找到的最小值點。x0 = 10xmin = opt.minimize(f, x0).xplt.plot(x, y)plt.scatter(x0, f(x0), marker='o', s=300)plt.scatter(xmin, f(xmin), marker='v', s=300)plt.xlim(-20, 20);

由上圖可見，當初始值為 10 時，函數(shù)找到的是局部最小值點，可見 minimize 的默認算法對起始點的依賴性。

那么怎么才能不管初始值在哪個位置，都能找到全局最小值點呢？

如何找到全局最優(yōu)點？

可以使用 basinhopping 函數(shù)找到全局最優(yōu)點，相關(guān)背后算法，可以看幫助文件，有提供論文的索引和出處。

我們設(shè)初始值為 10 看是否能找到全局最小值點。x0 = 10from scipy.optimize import basinhoppingxmin = basinhopping(f,x0,stepsize = 5).xplt.plot(x, y);plt.scatter(x0, f(x0), marker='o', s=300);plt.scatter(xmin, f(xmin), marker='v', s=300);plt.xlim(-20, 20);

當起始點在比較遠的位置，依然成功找到了全局最小值點。

如何求多元函數(shù)最小值？

以二元函數(shù)為例，使用 minimize 求對應(yīng)的最小值。def g(X): x,y = X return (x-1)**4 + 5 * (y-1)**2 - 2*x*yX_opt = opt.minimize(g, (8, 3)).x # (8,3) 是起始點print X_opt[ 1.88292611 1.37658521]fig, ax = plt.subplots(figsize=(6, 4)) # 定義畫布和圖形x_ = y_ = np.linspace(-1, 4, 100)X, Y = np.meshgrid(x_, y_)c = ax.contour(X, Y, g((X, Y)), 50) # 等高線圖ax.plot(X_opt[0], X_opt[1], 'r*', markersize=15) # 最小點的位置是個元組ax.set_xlabel(r"$x_1$", fontsize=18)ax.set_ylabel(r"$x_2$", fontsize=18)plt.colorbar(c, ax=ax) # colorbar 表示顏色越深，高度越高fig.tight_layout()

畫3D 圖。from mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import cmfig = plt.figure()ax = fig.gca(projection='3d')x_ = y_ = np.linspace(-1, 4, 100)X, Y = np.meshgrid(x_, y_)surf = ax.plot_surface(X, Y, g((X,Y)), rstride=1, cstride=1, cmap=cm.coolwarm, linewidth=0, antialiased=False)cset = ax.contour(X, Y, g((X,Y)), zdir='z',offset=-5, cmap=cm.coolwarm)fig.colorbar(surf, shrink=0.5, aspect=5);

曲線擬合

曲線擬合和最優(yōu)化有什么關(guān)系？

曲線擬合的問題是，給定一組數(shù)據(jù)，它可能是沿著一條線散布的，這時要找到一條最優(yōu)的曲線來擬合這些數(shù)據(jù)，也就是要找到最好的線來代表這些點，這里的最優(yōu)是指這些點和線之間的距離是最小的，這就是為什么要用最優(yōu)化問題來解決曲線擬合問題。

舉例說明，給一些點，找到一條線，來擬合這些點。

先給定一些點：N = 50 # 點的個數(shù)m_true = 2 # 斜率b_true = -1 # 截距dy = 2.0 # 誤差np.random.seed(0)xdata = 10 * np.random.random(N) # 50 個 x，服從均勻分布ydata = np.random.normal(b_true + m_true * xdata, dy) # dy 是標準差plt.errorbar(xdata, ydata, dy, fmt='.k', ecolor='lightgray');

上面的點整體上呈現(xiàn)一個線性關(guān)系，要找到一條斜線來代表這些點，這就是經(jīng)典的一元線性回歸。目標就是找到最好的線，使點和線的距離最短。要優(yōu)化的函數(shù)是點和線之間的距離，使其最小。點是確定的，而線是可變的，線是由參數(shù)值，斜率和截距決定的，這里就是要通過優(yōu)化距離找到最優(yōu)的斜率和截距。

點和線的距離定義如下：def chi2(theta, x, y): return np.sum(((y - theta[0] - theta[1] * x)) ** 2)

上式就是誤差平方和。

誤差平方和是什么？有什么作用？

誤差平方和公式為：

誤差平方和大，表示真實的點和預(yù)測的線之間距離太遠，說明擬合得不好，最好的線，應(yīng)該是使誤差平方和最小，即最優(yōu)的擬合線，這里是條直線。

誤差平方和就是要最小化的目標函數(shù)。

找到最優(yōu)的函數(shù)，即斜率和截距。theta_guess = [0, 1] # 初始值theta_best = opt.minimize(chi2, theta_guess, args=(xdata, ydata)).xprint(theta_best)[-1.01442005 1.93854656]

上面兩個輸出即是預(yù)測的直線斜率和截距，我們是根據(jù)點來反推直線的斜率和截距，那么真實的斜率和截距是多少呢？-1 和 2，很接近了，差的一點是因為有噪音的引入。xfit = np.linspace(0, 10)yfit = theta_best[0] + theta_best[1] * xfitplt.errorbar(xdata, ydata, dy, fmt='.k', ecolor='lightgray');plt.plot(xfit, yfit, '-k');

最小二乘（Least Square）是什么？

上面用的是 minimize 方法，這個問題的目標函數(shù)是誤差平方和，這就又有一個特定的解法，即最小二乘。

最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小，這里的“二乘”指的是用平方來度量觀測點與估計點的遠近（在古漢語中“平方”稱為“二乘”），“最小”指的是參數(shù)的估計值要保證各個觀測點與估計點的距離的平方和達到最小。

關(guān)于最小二乘估計的計算，涉及更多的數(shù)學(xué)知識，這里不想詳述，其一般的過程是用目標函數(shù)對各參數(shù)求偏導(dǎo)數(shù)，并令其等于 0，得到一個線性方程組。具體推導(dǎo)過程可參考斯坦福機器學(xué)習講義 第 7 頁。def deviations(theta, x, y): return (y - theta[0] - theta[1] * x)theta_best, ier = opt.leastsq(deviations, theta_guess, args=(xdata, ydata))print(theta_best)[-1.01442016 1.93854659]

最小二乘 leastsq 的結(jié)果跟 minimize 結(jié)果一樣。注意 leastsq 的第一個參數(shù)不再是誤差平方和 chi2，而是誤差本身 deviations，即沒有平方，也沒有和。yfit = theta_best[0] + theta_best[1] * xfitplt.errorbar(xdata, ydata, dy, fmt='.k', ecolor='lightgray');plt.plot(xfit, yfit, '-k');

非線性最小二乘

上面是給一些點，擬合一條直線，擬合一條曲線也是一樣的。def f(x, beta0, beta1, beta2): # 首先定義一個非線性函數(shù)，有 3 個參數(shù) return beta0 + beta1 * np.exp(-beta2 * x**2)beta = (0.25, 0.75, 0.5) # 先猜 3 個 betaxdata = np.linspace(0, 5, 50)y = f(xdata, *beta)ydata = y + 0.05 * np.random.randn(len(xdata)) # 給 y 加噪音def g(beta): return ydata - f(xdata, *beta) # 真實 y 和 預(yù)測值的差，求最優(yōu)曲線時要用到beta_start = (1, 1, 1)beta_opt, beta_cov = opt.leastsq(g, beta_start)print beta_opt # 求到的 3 個最優(yōu)的 beta 值[ 0.25525709 0.74270226 0.54966466]

拿估計的 beta_opt 值跟真實的 beta = (0.25, 0.75, 0.5) 值比較，差不多。fig, ax = plt.subplots()ax.scatter(xdata, ydata) # 畫點ax.plot(xdata, y, 'r', lw=2) # 真實值的線ax.plot(xdata, f(xdata, *beta_opt), 'b', lw=2) # 擬合的線ax.set_xlim(0, 5)ax.set_xlabel(r"$x$", fontsize=18)ax.set_ylabel(r"$f(x, \beta)$", fontsize=18)fig.tight_layout()

除了使用最小二乘，還可以使用曲線擬合的方法，得到的結(jié)果是一樣的。beta_opt, beta_cov = opt.curve_fit(f, xdata, ydata)print beta_opt[ 0.25525709 0.74270226 0.54966466]

有約束的最小化

有約束的最小化是指，要求函數(shù)最小化之外，還要滿足約束條件，舉例說明。

邊界約束def f(X): x, y = X return (x-1)**2 + (y-1)**2 # 這是一個碗狀的函數(shù)x_opt = opt.minimize(f, (0, 0), method='BFGS').x # 無約束最優(yōu)化

假設(shè)有約束條件，x 和 y 要在一定的范圍內(nèi)，如 x 在 2 到 3 之間，y 在 0 和 2 之間。bnd_x1, bnd_x2 = (2, 3), (0, 2) # 對自變量的約束x_cons_opt = opt.minimize(f, np.array([0, 0]), method='L-BFGS-B', bounds=[bnd_x1, bnd_x2]).x # bounds 矩形約束fig, ax = plt.subplots(figsize=(6, 4))x_ = y_ = np.linspace(-1, 3, 100)X, Y = np.meshgrid(x_, y_)c = ax.contour(X, Y, f((X,Y)), 50)ax.plot(x_opt[0], x_opt[1], 'b*', markersize=15) # 沒有約束下的最小值，藍色五角星ax.plot(x_cons_opt[0], x_cons_opt[1], 'r*', markersize=15) # 有約束下的最小值，紅色星星bound_rect = plt.Rectangle((bnd_x1[0], bnd_x2[0]), bnd_x1[1] - bnd_x1[0], bnd_x2[1] - bnd_x2[0], facecolor="grey")ax.add_patch(bound_rect)ax.set_xlabel(r"$x_1$", fontsize=18)ax.set_ylabel(r"$x_2$", fontsize=18)plt.colorbar(c, ax=ax)fig.tight_layout()

不等式約束

介紹下相關(guān)理論，先來看下存在等式約束的極值問題求法，比如下面的優(yōu)化問題。

目標函數(shù)是 f(w)，下面是等式約束，通常解法是引入拉格朗日算子，這里使用 ββ 來表示算子，得到拉格朗日公式為

l 是等式約束的個數(shù)。

然后分別對 w 和ββ 求偏導(dǎo)，使得偏導(dǎo)數(shù)等于 0，然后解出 w 和βiβi，至于為什么引入拉格朗日算子可以求出極值，原因是 f(w) 的 dw 變化方向受其他不等式的約束，dw的變化方向與f(w)的梯度垂直時才能獲得極值，而且在極值處，f(w) 的梯度與其他等式梯度的線性組合平行，因此他們之間存在線性關(guān)系。（參考《最優(yōu)化與KKT條件》）

對于不等式約束的極值問題

常常利用拉格朗日對偶性將原始問題轉(zhuǎn)換為對偶問題，通過解對偶問題而得到原始問題的解。該方法應(yīng)用在許多統(tǒng)計學(xué)習方法中。有興趣的可以參閱相關(guān)資料，這里不再贅述。def f(X): return (X[0] - 1)**2 + (X[1] - 1)**2def g(X): return X[1] - 1.75 - (X[0] - 0.75)**4x_opt = opt.minimize(f, (0, 0), method='BFGS').xconstraints = [dict(type='ineq', fun=g)] # 約束采用字典定義，約束方式為不等式約束，邊界用 g 表示x_cons_opt = opt.minimize(f, (0, 0), method='SLSQP', constraints=constraints).xfig, ax = plt.subplots(figsize=(6, 4))x_ = y_ = np.linspace(-1, 3, 100)X, Y = np.meshgrid(x_, y_)c = ax.contour(X, Y, f((X, Y)), 50)ax.plot(x_opt[0], x_opt[1], 'b*', markersize=15) # 藍色星星，沒有約束下的最小值ax.plot(x_, 1.75 + (x_-0.75)**4, '', markersize=15)ax.fill_between(x_, 1.75 + (x_-0.75)**4, 3, color="grey")ax.plot(x_cons_opt[0], x_cons_opt[1], 'r*', markersize=15) # 在區(qū)域約束下的最小值ax.set_ylim(-1, 3)ax.set_xlabel(r"$x_0$", fontsize=18)ax.set_ylabel(r"$x_1$", fontsize=18)plt.colorbar(c, ax=ax)fig.tight_layout()

scipy.optimize.minimize 中包括了多種最優(yōu)化算法，每種算法使用范圍不同，詳細參考官方文檔。

學(xué)習多目標優(yōu)化需要掌握哪些python知識

多目標優(yōu)化

目標優(yōu)化問題一般地就是指通過一定的優(yōu)化算法獲得目標函數(shù)的最優(yōu)化解。當優(yōu)化的目標函數(shù)為一個時稱之為單目標優(yōu)化(Single-

objective Optimization Problem,

SOP)。當優(yōu)化的目標函數(shù)有兩個或兩個以上時稱為多目標優(yōu)化(Multi-objective Optimization Problem,

MOP)。不同于單目標優(yōu)化的解為有限解，多目標優(yōu)化的解通常是一組均衡解。

多目標優(yōu)化算法歸結(jié)起來有傳統(tǒng)優(yōu)化算法和智能優(yōu)化算法兩大類。

1. 傳統(tǒng)優(yōu)化算法包括加權(quán)法、約束法和線性規(guī)劃法等，實質(zhì)上就是將多目標函數(shù)轉(zhuǎn)化為單目標函數(shù)，通過采用單目標優(yōu)化的方法達到對多目標函數(shù)的求解。

2. 智能優(yōu)化算法包括進化算法（Evolutionary Algorithm, 簡稱EA）、粒子群算法（Particle Swarm Optimization, PSO）等。

Pareto最優(yōu)解：

若x*∈C*,且在C中不存在比x更優(yōu)越的解x，則稱x*是多目標最優(yōu)化模型式的Pareto最優(yōu)解，又稱為有效解。

一般來說，多目標優(yōu)化問題并不存在一個最優(yōu)解，所有可能的解都稱為非劣解，也稱為Pareto解。傳統(tǒng)優(yōu)化技術(shù)一般每次能得到Pareo解集中的一個，而

用智能算法來求解，可以得到更多的Pareto解，這些解構(gòu)成了一個最優(yōu)解集，稱為Pareto最優(yōu)解。它是由那些任一個目標函數(shù)值的提高都必須以犧牲其

他目標函數(shù)值為代價的解組成的集合,稱為Pareto最優(yōu)域，簡稱Pareto集。

Pareto有效(最優(yōu))解非劣解集是指由這樣一些解組成的集合：與集合之外的任何解相比它們至少有一個目標函數(shù)比集合之外的解好。

求解多目標優(yōu)化問題最有名的就是NSGA-II了，是多目標遺傳算法，但其對解的選擇過程可以用在其他優(yōu)化算法上，例如粒子群，蜂群等等。這里簡單介紹一下NSGA-II的選擇算法。主要包含三個部分：

1. 快速非支配排序

要先講一下支配的概念，對于解X1和X2，如果X1對應(yīng)的所有目標函數(shù)都不比X2大（最小問題），且存在一個目標值比X2小，則X2被X1支配。

快速非支配排序是一個循環(huán)分級過程：首先找出群體中的非支配解集，記為第一非支配層，irank=1（irank是個體i的非支配值），將其從群體中除去，繼續(xù)尋找群體中的非支配解集，然后irank=2。

2. 個體擁擠距離

為了使計算結(jié)果在目標空間比較均勻的分布，維持種群多樣性，對每個個體計算擁擠距離，選擇擁擠距離大的個體，擁擠距離的定義為：

L[i]d=L[i]d+(L[i+1]m?L[i?1]m)/(fmaxm?fminm)

L[i+1]m是第i+1個個體的第m目標函數(shù)值，fmaxm 和 fminm是集合中第m個目標函數(shù)的最大和最小值。

3. 精英策略選擇

精英策略就是保留父代中的優(yōu)良個體直接進入子代，防止獲得的Pareto最優(yōu)解丟失。將第t次產(chǎn)生的子代種群和父代種群合并，然后對合并后的新種群進行非支配排序，然后按照非支配順序添加到規(guī)模為N的種群中作為新的父代。

python中range()函數(shù)的用法

python中range()函數(shù)的用法：

（1）range(stop)

創(chuàng)建一個（0,stop)之間的整數(shù)序列，步長為1。

（2）range(start,stop)

創(chuàng)建一個（start,stop)之間的整數(shù)序列，步長為1。

（3）range(start,stop,step)

創(chuàng)建一個[start,stop)之間的整數(shù)序列，步長為step。

參數(shù)介紹：

start：表示從返回序列的起始編號，默認情況下從0開始。

stop：表示生成最多但不包括此數(shù)字的數(shù)字。

step：指的是序列中每個數(shù)字之間的差異，默認值為1。

相關(guān)介紹

range()是Python的內(nèi)置函數(shù)，在用戶需要執(zhí)行特定次數(shù)的操作時使用它，表示循環(huán)的意思。內(nèi)置函數(shù)range()可用于以列表的形式生成數(shù)字序列。在range()函數(shù)中最常見用法是使用for和while循環(huán)迭代序列類型（List，string等）。

簡單的來說，range()函數(shù)允許用戶在給定范圍內(nèi)生成一系列數(shù)字。根據(jù)用戶傳遞給函數(shù)的參數(shù)數(shù)量，用戶可以決定該系列數(shù)字的開始和結(jié)束位置以及一個數(shù)字與下一個數(shù)字之間的差異有多大。

如何優(yōu)化python 機器學(xué)習庫中的函數(shù)

def do_POST(self):

mpath,margs=urllib.splitquery(self.path)

datas = self.rfile.read(int(self.headers['content-length']))

self.do_action(mpath, datas)

def do_action(self, path, args):

self.outputtxt(path + args )

def outputtxt(self, content):

#指定返回編碼

enc = "UTF-8"

content = content.encode(enc)

f = io.BytesIO()

f.write(content)

f.seek(0)

self.send_response(200)

self.send_header("Content-type", "text/html; charset=%s" % enc)

self.send_header("Content-Length", str(len(content)))

self.end_headers()

shutil.copyfileobj(f,self.wfile)

網(wǎng)頁題目：python中優(yōu)化函數(shù),python性能優(yōu)化
網(wǎng)站URL：http://chinadenli.net/article25/dsgohji.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、Google、、外貿(mào)建站、搜索引擎優(yōu)化、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)