時(shí)間序列筆記-自相關(guān)

在datacamp網(wǎng)站上學(xué)習(xí)“ Time Series with R ”track

昌寧網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián)公司,昌寧網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為昌寧上千余家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)營(yíng)銷網(wǎng)站建設(shè)要多少錢，請(qǐng)找那個(gè)售后服務(wù)好的昌寧做網(wǎng)站的公司定做！

“Introduction to Time Series Analysis”課程 做的對(duì)應(yīng)筆記。

學(xué)識(shí)有限，錯(cuò)誤難免，還請(qǐng)不吝賜教。

如無特殊說明，筆記中所使用數(shù)據(jù)均來自datacamp課程

自相關(guān)（autocorrelation or lagged correlation）用于評(píng)估時(shí)間序列數(shù)據(jù)是否依賴于其過去的數(shù)據(jù)。

假設(shè)時(shí)間序列是弱平穩(wěn)的： 之間的相關(guān)系數(shù)記為 ，函數(shù)ρ稱為自相關(guān)函數(shù)(autocorrelation function, ACF)

與之類似，自協(xié)方差函數(shù)用 表示

設(shè) 滿足弱平穩(wěn)過程。

設(shè)有例數(shù)為n的時(shí)間序列數(shù)據(jù)x，按照自相關(guān)函數(shù)的定義，以計(jì)算 為例，我們可以手動(dòng)構(gòu)造計(jì)算自相關(guān)系數(shù)的成對(duì)數(shù)據(jù)，x_t0 x_t1對(duì)應(yīng)x[t],x[t-1]，然后用cor()函數(shù)計(jì)算 ，本例中n=150:

cor(x_t0, x_t1)輸出為：0.7630314

acf(..., lag.max =1, plot = FALSE)函數(shù)可以用來計(jì)算lag為1的自相關(guān)系數(shù)：

acf()函數(shù)輸出中l(wèi)ag為1的自相關(guān)系數(shù)為0.758

可以看出我們手動(dòng)計(jì)算的結(jié)果和acf()函數(shù)計(jì)算的結(jié)果略有不同。這是因?yàn)閍cf()使用的是用n作為分母的計(jì)算版本而手動(dòng)計(jì)算利用cov()函數(shù)使用的是用n-h（這里h=1）作為分母的計(jì)算版本。

acf()函數(shù)以n作為分母的計(jì)算方法算出的自相關(guān)系數(shù)是有偏的，但是在時(shí)間序列分析中更常用（preferred）。

驗(yàn)證兩種計(jì)算方法相差一個(gè)因子：(n-h)/n

cor(x_t1, x_t0) * (n-1)/n輸出結(jié)果為0.7579445.

acf(x, lag.max = 1, plot = F)[1][[1]]輸出結(jié)果為0.7579761

看來除了課程中提到的計(jì)算版本分母不同以外這兩種計(jì)算方法還有其他的差異導(dǎo)致計(jì)算結(jié)果在考慮到分母問題以后仍然有一點(diǎn)點(diǎn)微小的不同。

acf(..., lag.max = ..., plot = FALSE)函數(shù)會(huì)計(jì)算h=0,1,2...直到lag.max參數(shù)指定值對(duì)應(yīng)的自相關(guān)系數(shù)。

此外，acf()函數(shù)的plot選項(xiàng)默認(rèn)為TRUE，可以生成自相關(guān)圖，自相關(guān)圖會(huì)顯示各lag值對(duì)應(yīng)的自相關(guān)系數(shù)，并用藍(lán)色水平虛線表示自相關(guān)系數(shù)為0的95%置信區(qū)間邊界線，如果自相關(guān)系數(shù)在兩條虛線以內(nèi)則表明自相關(guān)系數(shù)沒有統(tǒng)計(jì)學(xué)意義。

例子數(shù)據(jù)：x顯示出強(qiáng)持續(xù)性（persistence），即時(shí)間序列的值與前一測(cè)量值呈現(xiàn)出強(qiáng)相關(guān)性；y具有周期性，周期大約為4；z則沒有明確的模式。

對(duì)上面三個(gè)時(shí)間序列使用acf()函數(shù)：

利用python的statsmodels包 把序列1階差分后利用plot_acf()畫出acf圖

dta=np.array(dta,dtype=np.float) //這里要轉(zhuǎn)下數(shù)據(jù)類型，不然運(yùn)行會(huì)報(bào)錯(cuò)

dta=pd.Series(dta)

dta.index = pd.Index(sm.tsa.datetools.dates_from_range('2001','2090')) //應(yīng)該是2090，不是2100

dta.plot(figsize=(12,8))

plt.show() // 在Scala IDE要輸入這個(gè)命令才能顯示圖！

時(shí)間序列模型簡(jiǎn)介

目錄

時(shí)間序列是一列觀測(cè)值 的集合, 其中每個(gè)觀測(cè)值是在時(shí)段 觀測(cè)所得( 是自然數(shù) ). 給定時(shí)間序列 , 如果對(duì)任意的 , 它滿足下列條件:

i.

ii.

iii.

我們把它叫做(弱)平穩(wěn)(weakly stationary)序列.(下文我們簡(jiǎn)稱平穩(wěn)序列.)

通俗地講, 平穩(wěn)序列的期望, 方差, 協(xié)方差不隨時(shí)間變化 . 例如, 服從同一個(gè)分布時(shí), 它是平穩(wěn)的.

例1 下圖中的時(shí)間序列由 生成. 從直觀上看, 這個(gè)序列是"平穩(wěn)的".

例2 下圖的中的時(shí)間序列由 生成, 其中 , . 它起初有明顯地增長(zhǎng), 然后趨于平穩(wěn). 利用ADF檢驗(yàn)(詳情見下文), 我們發(fā)現(xiàn)該序列是平穩(wěn)的(p-value 0.01).

Remark 弱平穩(wěn)性的"弱"主要體現(xiàn)在時(shí)間序列在全局上是平穩(wěn)的, 即，時(shí)間序列局部是波動(dòng)的，但整體上看是平穩(wěn)的, 或者隨著時(shí)間的變化其樣本的均值收斂.

我們用統(tǒng)計(jì)學(xué)中假設(shè)檢驗(yàn)的方法來判斷樣本的平穩(wěn)性. 常用的是Augmented Dickey-Fuller(ADF)檢驗(yàn) [1] .

在顯著水平 的條件下, 我們可以通過計(jì)算p-value來接受或者拒絕 :

Python3中 statsmodels.tas.stattools 中的 adfuller 函數(shù) [3] 實(shí)現(xiàn)了ADF檢驗(yàn). 使用方法如下所示.

前面之所以介紹平穩(wěn)序列的概念及檢驗(yàn)方法, 是因?yàn)樗呛芏嗷A(chǔ)的時(shí)間序列模型的前提假設(shè). 在本節(jié)我們介紹一些常見的時(shí)間序列模型(更多內(nèi)容可以參考 [4] , [5] ).

AR代表自回歸(Autoregression). 假設(shè)時(shí)間序列 是平穩(wěn)的, 它可以被表示成如下形式:

MA代表移動(dòng)平均(Moving Average). 假設(shè)時(shí)間序列 是平穩(wěn)的, 它可以被表示成如下形式:

ARMA模型是AR和MA的組合. 假設(shè)同上. 它可以被表示為如下形式:

ARIMA模型是ARMA模型的推廣, 全稱是Autoregressive Integrated Moving Average. 當(dāng)時(shí)間序列 不滿足平穩(wěn)性時(shí), 我們通常使用 差分 的技巧把序列變得平穩(wěn), 然后再應(yīng)用ARMA模型.

參數(shù) 代表差分的階數(shù). 下面是差分的計(jì)算公式( 為差分算子):

例3 下圖是原始的時(shí)間序列. 通過觀察, 它的均值有明顯的上升趨勢(shì)且不收斂, 因此不是平穩(wěn)序列(ADF檢驗(yàn)的p-value為0.94).

對(duì)該序列進(jìn)行一階差分后, 我們得到如下平穩(wěn)的時(shí)間序列(p-value為0.00).

該記號(hào)代表季節(jié)性(或周期性)ARIMA模型, 詳細(xì)的表達(dá)式可以參考 [4] ( 4.1 Seasonal ARIMA models ), 其中

我們可以把它看成兩階段模型: 第一階段在全局使用ARIMA(p,d,q); 第二階段通過指定周期長(zhǎng)度 , 再利用ARIMA(P,Q,D)模型考慮周期之間的關(guān)系.

例4 考慮如下周期性的平穩(wěn)時(shí)間序列( ).

對(duì)序列進(jìn)行周期性差分: 得到新的時(shí)間序列 如下圖所示(紅色部分)

通過使用周期性差分, 我們可以把原有時(shí)間序列的周期性移除. 同理, 通過采用周期性的自回歸和移動(dòng)平均系數(shù), 我們可以把周期之間的依賴關(guān)系考慮進(jìn)模型.

例5 考慮周期s=18的數(shù)據(jù)(藍(lán)色曲線). 用 和 分別進(jìn)行預(yù)測(cè)的結(jié)果如下.

不考慮周期性的ARIMA模型的預(yù)測(cè)結(jié)果(灰色曲線)逐漸收斂到時(shí)間序列的均值. 由于序列是平穩(wěn)的, 這樣的預(yù)測(cè)結(jié)果符合我們的期望. 考慮到該時(shí)間序列有比較強(qiáng)的周期性, 且通過觀察發(fā)現(xiàn)周期 . 在本例中, 我們僅使用周期差分, 最終得到了如圖所示(紅色曲線)的周期性預(yù)測(cè)結(jié)果.

ARCH的全稱是Autoregressive Conditionally Heteroscedasticity, 它可以用來考慮樣本的方差隨著時(shí)間變化(或震蕩)的時(shí)間序列. 設(shè)時(shí)間序列 是平穩(wěn)的, 模型可以被表示成如下形式:

其中

GARCH即Generalized ARCH, 是ARCH模型的推廣 [6] . 設(shè)時(shí)間序列 是平穩(wěn)的, 模型可以被表示成如下形式:

其中

Remark ARCH/GARCH隨機(jī)過程產(chǎn)生的數(shù)據(jù)是什么樣的? 前面提到它們?cè)试S 樣本的方差 隨時(shí)間變化, 但是由于 必須滿足平穩(wěn)性(前提假設(shè)), 因此樣本的方差從局部看是變化(震蕩)的, 但從整體看應(yīng)該是"平穩(wěn)的"序列. 例如下圖是一個(gè) 過程生成的時(shí)間序列( ).

VAR即Vector Autoregression, 它是多變量的自回歸模型. 類似地, 我們有 , 它是 的向量版本. 需要注意的是, VARMA模型處理的時(shí)間序列可以有趨勢(shì). 我們不做詳細(xì)的展開, 感興趣的讀者可以參考 [4] 章節(jié)11.2: Vector Autoregressive models VAR(p) models .

給定時(shí)間序列的觀測(cè)樣本, 選定預(yù)測(cè)模型之后如何確定模型的參數(shù)? 本節(jié)我們介紹兩種常用的方法: 1. 畫出ACF/PACF圖, 然后觀察出 的值; 2. 通過計(jì)算相關(guān)的統(tǒng)計(jì)指標(biāo), 自動(dòng)化地選擇參數(shù).

ACF的全稱是Autocorrelation Function. 對(duì)變量 , ACF的值代表 與 之間的相關(guān)性.

PACF的全稱是Partial Autocorrelation Function. 對(duì)變量 , PACF的值代表已知 的條件 下, 與 之間的相關(guān)性.

例6 設(shè) . 考慮下面三個(gè)模型生成的時(shí)間序列, 并計(jì)算相應(yīng)的ACF/PACF.

基本思想是通過計(jì)算一些指標(biāo), 并選擇參數(shù)使得相關(guān)的指標(biāo)值盡可能小. 下面我們介紹一些常用的指標(biāo).

為方便描述, 我們先定義一些記號(hào).

(AIC的改良版, 解決小樣本過擬合的問題)

(也稱為Schwartz Criterion, SBC, SBIC)

Remark 建議在實(shí)際中綜合考慮這些指標(biāo).

Python3 code on Github

python 時(shí)間序列模型中forecast和predict的區(qū)別

舉一個(gè)例子吧，比如月度的數(shù)據(jù)，就是周期為12，它有季節(jié)影響。 先對(duì)其1階12步差分，通過看acf pac f看是簡(jiǎn)單加法模型，還是乘法季節(jié)模型 如果是乘法模型那就要對(duì)季節(jié)部分模擬arima模型 季節(jié)部分的arima是以周期位置的acf pacf

acf函數(shù)問題，什么是對(duì)象里有遺漏值

我建議題主在找不到錯(cuò)誤原因的時(shí)候，將語句分拆開一句句運(yùn)行，或者使用print()函數(shù)輸出變量的運(yùn)行結(jié)果，這樣就很容易排錯(cuò)。（算是小白的一點(diǎn)學(xué)習(xí)心得吧）

acf圖的兩條虛線的值是什么意思

就是虛線的大小。

acf的全稱是Autocorrelation function，即自相關(guān)函數(shù)。但這個(gè)函數(shù)不僅可以計(jì)算自相關(guān)，也可以計(jì)算自協(xié)方差。具體代碼如下：x acf(x)#計(jì)算該向量的自相關(guān)函數(shù)

autocorr autocorr$acf #autocorrelation

#輸出如下

# [,1]

# [1,] 1.00000000

# [2,] 0.70000000

# [3,] 0.41212121

# [4,] 0.14848485

# [5,] -0.07878788

# [6,] -0.25757576

# [7,] -0.37575758

# [8,] -0.42121212

# [9,] -0.38181818

# [10,] -0.24545455

autocov autocov$acf #autocorrelation

# 輸出如下

# [,1]

# [1,] 1.00000000

# [2,] 0.70000000

# [3,] 0.41212121

# [4,] 0.14848485

# [5,] -0.07878788

# [6,] -0.25757576

# [7,] -0.37575758

# [8,] -0.42121212

# [9,] -0.38181818

# [10,] -0.24545455自相關(guān)含義解釋：自己 與 自己的過去 是否具有線性相關(guān)。范圍是-1~1。絕對(duì)值越靠近1越相關(guān)，絕對(duì)值越靠近0越不相關(guān)。當(dāng)縱線落入虛線以內(nèi)，則認(rèn)為該數(shù)值與0無顯著差異，既可認(rèn)為不相關(guān)。注意事項(xiàng)：如果直接帶入自相關(guān)公式，會(huì)發(fā)現(xiàn)系數(shù)與R求的不一樣因?yàn)镽語言中的acf函數(shù) 并不是直接計(jì)算出自相關(guān)系數(shù)而是計(jì)算出不同滯后階數(shù)的樣本自相關(guān)系數(shù)、樣本自協(xié)方差系數(shù)。 具體公式如下:樣本自協(xié)方差系數(shù)公式： 其中對(duì)于 ，有 。n是樣本總數(shù)，h是滯后階數(shù)， 是樣本平均數(shù)。【注意，很多網(wǎng)上的樣本自協(xié)方差公式都是錯(cuò)誤的，這個(gè)是經(jīng)過計(jì)算驗(yàn)證的】樣本自相關(guān)系數(shù)公式：深層次用法：在時(shí)間序列分析過程中一種分析手段是：根據(jù) 自相關(guān)系數(shù)圖 和 偏自相關(guān)系數(shù)圖 來猜測(cè)時(shí)間序列可能屬于哪一種時(shí)間序列模型。【沒有錯(cuò)，統(tǒng)計(jì)理論是嚴(yán)謹(jǐn)?shù)模恍┙y(tǒng)計(jì)方法卻有一定的主觀性】故需要分析人員大量瀏覽各種可能的已知時(shí)間序列模型，并熟悉他們的自相關(guān)系數(shù)圖（acf函數(shù)）、偏自相關(guān)圖（pacf函數(shù)）。并結(jié)合擴(kuò)展的自相關(guān)函數(shù)（eacf函數(shù)，Tsay,Tia0,1984 W.S.Chan.1999 ）實(shí)現(xiàn)模型定階。已經(jīng)被人熟知的基本規(guī)律有：“拖”指代拖尾eacf圖的解讀方式當(dāng)然還有很多種其他判斷模型的方法，也會(huì)利用自相關(guān)函數(shù)與偏自相關(guān)函數(shù)

分享題目：pythonacf函數(shù),python acf
轉(zhuǎn)載源于：http://chinadenli.net/article3/dsgchos.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營(yíng)銷推廣、搜索引擎優(yōu)化、服務(wù)器托管、靜態(tài)網(wǎng)站、商城網(wǎng)站、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)