时间序列模型ARMA/ARIMA（二）

时序特点

• 一系列相同时间间隔的数据点

• 只有一列数据&＃xff0c;没有变量与变量之间的关系

  线性回归中&＃xff0c;有自变量和因变量


• 数据在时间上有相关性&＃xff0c;即前后相关

  线性回归中&＃xff0c;数据点间相互独立


• 用历史数据预测未来数据

时序模型的前提

• 平稳性

  • 数学上&＃xff0c;时序的期望和方差基本上不随时间变动。

  • 时序图上&＃xff0c;数据点围绕一个常数上下波动。

  • 统计学上&＃xff0c;p-value 是否小于显著水平&＃xff0c;比如 0.01。

    # ts&＃xff1a;时序
from statsmodels.tsa.stattools import adfuller
adf &＃61; adfuller( ts )
print(adf)
#返回的第一个数据是单位根统计量&＃xff0c;第二个是p-value
# 若 p-value<0.01&＃xff0c;则拒绝原假设&＃xff0c;i.e. 原时序平稳
# 原假设&＃xff1a;时序存在单位根&＃xff0c;i.e. 时序不平稳


  • 若原时序不平稳&＃xff0c;要作一阶差分或更高阶差分去除原时序的趋势。

    # 一阶差分
ts_diff &＃61; ts.diff(1)[1:] #作差分的同时去掉第一个NaN值


• 白噪声检验

  • &＃xff08;只有&＃xff09;在时序平稳后&＃xff0c;检验时序是否在时间上相关。

    from statsmodels.stats.diagnostic import acorr_ljungbox
noise &＃61; acorr_ljungbox( ts, lags&＃61;1 )
# lags&＃xff0c;设置时序滞后的阶数
# 设置多少阶&＃xff0c;结果会显示多少阶对应的统计量和p-value
print( noise )
# 返回的元组里的第一个数据是统计量&＃xff0c;第二个是p-value
# 若 p-value<0.01&＃xff0c;则拒绝原假设&＃xff0c;i.e. 原时序在时间上相关
# 原假设&＃xff1a;时序是随机序列


时序模型的自相关图和偏自相关图

• 用来估计模型的阶数 p,q

  from statsmodels.graphics.tsaplots import plot_acf, plot_pacf
fig &＃61; plt.figure(figsize&＃61;(20,5))
ax1 &＃61; fig.add_subplot(211)
plot_acf( ts, lags&＃61;30, ax&＃61;ax1 )
ax2 &＃61; fig.add_subplot(212)
plot_pacf( ts, lags&＃61;30, ax&＃61;ax2 )
# 以上lags可以自行选择


时列模型训练&检验&预测

• 若原时序平稳&＃xff0c;则直接使用 ARMA(p,q) 模型
• 若原时序不平稳&＃xff0c;而通过作差分后平稳&＃xff0c;则使用 ARIMA(p,d,q)模型

1. 寻找模型的最佳阶数(p,q)&＃xff1a;

   最佳的 p,q&＃xff1a;模型的 aic or bic 最小时。

   # 以原时序平稳且非白噪声为例&＃xff0c;直接用 ARMA
from statsmodels.tsa.arima_model import ARMA, ARIMA
ts_train &＃61; ts[ ts.index<&＃61;&＃39;2020-04-30&＃39; ]
# 根据自相关图和偏自相关图设置最大的 p,q
pmax, qmax &＃61; 5, 5
Mid &＃61; []
arma_pq &＃61; None
# 迭代寻找最佳 p,q
for i in range(pmax&＃43;1):for j in range(qmax&＃43;1):arma_pq &＃61; ARMA(ts_train, (i,j)).fit()Mid[&＃39;({},{})&＃39;.format(i,j)] &＃61; [arma_pq.aic, arma_pq.bic]
# 根据 aic,bic 同时最小找到最佳 p,q
p,q &＃61; eval(sorted(Mid.items(), key &＃61; lambda i:i[1])[0][0])


2. 训练模型

   # 使用上述找到的最佳 p,q
arma &＃61; ARMA(ts_train, (p,q)).fit()


3. 模型检验

   # 检验模型是否很好的捕捉了原时序的趋势
resid &＃61; arma.resid # 获取残差
# 方法一&＃xff1a;画残差的相关图&＃xff0c;观察是否基本上都处于置信区间内
plot_acf(resid,lags&＃61;40)
# 方法二&＃xff1a;使用 DW 检验残差是否自相关&＃xff08;DW接近2&＃xff0c;则不存在相关性&＃xff09;
from statsmodels.stats.stattools import durbin_watson
durbin_watson(resid.values)
# 方法三&＃xff1a;使用 ljungbox 检验残差是否是白噪声&＃xff08;残差无自相关性&＃xff09;
acorr_ljungbox( resid, lags&＃61;1 )


4. 模型预测

   # 当模型很好的捕捉了原时序的趋势时# 1、样本内预测&＃xff1a;start/end&＃xff0c;都是训练集里出现过的日期
pred_in &＃61; arma.predict(start&＃61;&＃39;20200101&＃39;, end&＃61;&＃39;20200430&＃39;)
ts_test_in &＃61; ts[ (ts.index >&＃61; &＃39;2020-01-01&＃39;)&(ts.index <&＃61; &＃39;2020-04-30&＃39;) ] fig &＃61; plt.figure(figsize&＃61;(20,7))
ax1 &＃61; fig.add_subplot(211)
ax1.plot(ts_test_in, label&＃61;&＃39;in-sample test&＃39;)
ax1.plot(pred_in, label&＃61;&＃39;in-sample prediction&＃39;)
plt.title(&＃39;in-sample comparison&＃39;)
plt.legend()# 2、样本外预测&＃xff1a;start/end&＃xff0c;int&＃xff0c;须一部分在训练集内&＃xff0c;一部分不在
pred_out &＃61; arma.predict(start&＃61;len(ts_train)-30, end&＃61;len(ts_train)&＃43;30)
ts_test_out &＃61; np.append( np.array(ts_train)[-30:], np.array(ts[ts.index>&＃39;2020-04-30&＃39;])[:30] )ax2 &＃61; fig.add_subplot(212)
ax2.plot(ts_test_out, label&＃61;&＃39;out-sample test&＃39;)
ax2.plot(pred_out, label&＃61;&＃39;out-sample prediction&＃39;)
plt.title(&＃39;out-sample comparison&＃39;)
plt.legend()plt.show()


模型评价

1、模型在样本内的预测可以达到一个不错的效果。

2、但是&＃xff0c;模型在样本外的预测是一个周期性的 sin 波形&＃xff08;试了几种数据都一样&＃xff0c;不知道怎么回事&＃xff09;。

3、欢迎来评论&＃xff01;