如下圖便直觀形象的展示出這種最嚴(yán)重的的過擬合情況：

 

模型幾乎擬合所有點(diǎn)，也就是在訓(xùn)練集上的準(zhǔn)確度接近 100%，這類模型有什么特點(diǎn)呢？不妨看看這個(gè)模型的參數(shù)：

        1.24700471e-13, -2.35752755e-11,  2.06759733e-09, -1.11665116e-07,
        4.15722794e-06, -1.13161697e-04,  2.33087852e-03, -3.70886530e-02,
        4.61321531e-01, -4.50943817e+00,  3.46373724e+01, -2.07949995e+02,
        9.65158102e+02, -3.40164962e+03,  8.85765503e+03, -1.63366853e+04,
        1.99303609e+04, -1.41930185e+04,  4.37094529e+03,  2.87198980e+00

一共有 20 個(gè)，正好等于需要擬合的點(diǎn)數(shù)。

以上圖形是用拉格朗日插值方法擬合出來的，借助 scipy 包完成插值，代碼如下所示。

數(shù)據(jù)準(zhǔn)備階段：

from scipy.interpolate import lagrange
import numpy as np
import matplotlib.pyplot as plt

#使用樣本個(gè)數(shù)
n = 20

# seed 保證每次都生成一個(gè)固定隨機(jī)數(shù)
np.random.seed(2)
eps = np.random.rand(n) * 2

# 構(gòu)造樣本數(shù)據(jù)
x = np.linspace(0, 20, n)
y = np.linspace(2, 14, n) + eps

調(diào)用拉格朗日插值，得到插值函數(shù) p，然后輸入待插值點(diǎn) x, 完成插值得到插值點(diǎn)(xx,yy)

# 調(diào)用拉格朗日插值，得到插值函數(shù)p
p = lagrange(x, y)
xx = x
yy = p(xx)

拉格朗日插值得到一個(gè)多項(xiàng)式模型，參數(shù)個(gè)數(shù)等于樣本個(gè)數(shù)。

以上我們還原擬合所有樣本點(diǎn)的一個(gè)方法。

機(jī)器學(xué)習(xí)中為了模型泛化能力更強(qiáng)，所以需要簡化模型參數(shù)，換句話說對(duì)參數(shù)做正則化處理，這也符合奧卡姆剃刀定律，即簡單有效原理。

常用的L1 正則會(huì)使參數(shù)稀疏化，它會(huì)將其中一些參數(shù)權(quán)重歸 0. 當(dāng)然就今天將要擬合的數(shù)據(jù)點(diǎn)而言，直接簡化模型參數(shù)為 2個(gè)，擬合效果就不會(huì)差。

選用 sklearn 最最簡單的線型回歸模型：

from sklearn import linear_model
reg = linear_model.LinearRegression()
reg.fit(x.reshape(len(x),-1),y)

# 得到2個(gè)參數(shù)值
reg.coef_,reg.intercept_
(array([0.62182096]), 2.644854261121125)

再plot下擬合效果：

plt.figure(figsize=(12,8))
plt.scatter(x, y, color="r")
# 拉格朗日插值復(fù)雜模型
plt.plot(xx, yy, color="b",label='lagrange')
# 線型回歸極簡模型
plt.plot(xx,xx*reg.coef_+reg.intercept_,color='green',label='linear_model')
plt.show()