一文搞懂Python时间序列

时间序列&＃xff08;Time Series&＃xff09;是一种重要的结构化数据形式。时间序列的数据意义取决于具体的应用场景&＃xff0c;主要有以下几种&＃xff1a;

• 时间戳&＃xff08;timestamp&＃xff09;&＃xff1a;特定的时刻
• 固定时期&＃xff08;period&＃xff09;&＃xff1a;2007年1月或2010年全年
• 时间间隔&＃xff08;interval&＃xff09;&＃xff1a;由起始和结束时间戳表示。时期&＃xff08;period&＃xff09;可以被看作间隔的特例。

1.1 datetime对象

datetime.datetime对象&＃xff08;以下简称datetime对象&＃xff09;以毫秒形式存储日期和时间。datetime.timedelta表示datetime对象之间的时间差。

import pandas as pd
import numpy as np
from datetime import datetime,timedelta
%matplotlib inline
now &＃61; datetime.now() #now为datetime.datetime对象


now


输出&＃xff1a;

datetime.datetime(2019, 10, 11, 15, 33, 5, 701305)

now.year,now.month,now.day


输出&＃xff1a;

(2019, 10, 11)

delta &＃61; datetime.now()-datetime(2019,1,1) #delta为datetime.timedelta对象


datetime.now() &＃43; timedelta(12)


输出&＃xff1a;

datetime.datetime(2023, 3, 10, 22, 13, 25, 3470)

1.2 字符串和datatime的相互转换

&＃xff08;1&＃xff09; 利用str或datetime.strftime方法&＃xff08;传入一个格式化字符串&＃xff09;&＃xff0c;datetime对象和pandas的Timestamp对象可以被格式化为字符串&＃xff1b;datetime.strptime可以将字符串转换为日期。

stamp &＃61; datetime(2011,1,3)
stamp.strftime(&＃39;%Y-%m-%d&＃39;) #或str(stamp)


输出&＃xff1a;

‘2011-01-03’

datetime.strptime(&＃39;2019-10-01&＃39;,&＃39;%Y-%m-%d&＃39;)


输出&＃xff1a;

datetime.datetime(2019, 10, 1, 0, 0)

&＃xff08;2&＃xff09; 对于一些常见的日期格式&＃xff0c;可以使用datautil中的parser.parse方法&＃xff08;不支持中文&＃xff09;

from dateutil.parser import parse
parse(&＃39;2019-10-01&＃39;) #形成datetime.datetime对象


输出&＃xff1a;

datetime.datetime(2019, 10, 1, 0, 0)

&＃xff08;3&＃xff09; pandas的to_datetime方法可以解析多种不同的日期表示形式

import pandas as pd
datestrs &＃61; [&＃39;7/6/2019&＃39;,&＃39;8/6/2019&＃39;]
dates &＃61; pd.to_datetime(datestrs) #将字符串列表转换为Timestamp对象


type(dates)


输出&＃xff1a;

pandas.core.indexes.datetimes.DatetimeIndex

dates[0]


输出&＃xff1a;

Timestamp(‘2019-07-06 00:00:00’)

pandas最基本的时间序列类型就是以时间戳&＃xff08;通常以Python字符串或datetime对象表示&＃xff09;为索引的Series。
时期&＃xff08;period&＃xff09;表示的是时间时区&＃xff0c;比如数日、数月、数季、数年等。

from datetime import datetimedates &＃61; [datetime(2019,1,1),datetime(2019,1,2),datetime(2019,1,5),datetime(2019,1,10),datetime(2019,2,10),datetime(2019,10,1)]ts &＃61; pd.Series(np.random.randn(6),index &＃61; dates) #ts就成为一个时间序列&＃xff0c;datetime对象实际上是被存放在一个DatetimeIndex中


ts


输出&＃xff1a;

2019-01-01 1.175755
2019-01-02 -0.520842
2019-01-05 -0.678080
2019-01-10 0.195213
2019-02-10 2.201572
2019-10-01 0.115911
dtype: float64

dates &＃61; pd.DatetimeIndex([&＃39;2019/01/01&＃39;,&＃39;2019/01/02&＃39;,&＃39;2019/01/02&＃39;,&＃39;2019/5/01&＃39;,&＃39;3/15/2019&＃39;]) #同一时间点上多个观测数据
dup_ts &＃61; pd.Series(np.arange(5),index &＃61; dates)


dup_ts


输出&＃xff1a;

2019-01-01 0
2019-01-02 1
2019-01-02 2
2019-05-01 3
2019-03-15 4
dtype: int32

dup_ts.groupby(level &＃61; 0).count()


输出&＃xff1a;

2019-01-01 1
2019-01-02 2
2019-03-15 1
2019-05-01 1
dtype: int64

pd.date_range可用于生成指定长度的DatetimeIndex

pd.date_range(&＃39;2019/01/01&＃39;,&＃39;2019/2/1&＃39;) #默认情况下产生按天计算的时间点。


输出&＃xff1a;

DatetimeIndex([‘2019-01-01’, ‘2019-01-02’, ‘2019-01-03’, ‘2019-01-04’,
‘2019-01-05’, ‘2019-01-06’, ‘2019-01-07’, ‘2019-01-08’,
‘2019-01-09’, ‘2019-01-10’, ‘2019-01-11’, ‘2019-01-12’,
‘2019-01-13’, ‘2019-01-14’, ‘2019-01-15’, ‘2019-01-16’,
‘2019-01-17’, ‘2019-01-18’, ‘2019-01-19’, ‘2019-01-20’,
‘2019-01-21’, ‘2019-01-22’, ‘2019-01-23’, ‘2019-01-24’,
‘2019-01-25’, ‘2019-01-26’, ‘2019-01-27’, ‘2019-01-28’,
‘2019-01-29’, ‘2019-01-30’, ‘2019-01-31’, ‘2019-02-01’],
dtype&＃61;‘datetime64[ns]’, freq&＃61;‘D’)

pd.date_range(&＃39;2010/01/01&＃39;,periods &＃61; 30) # 传入起始或结束日期及一个表示时间段的数字。


输出&＃xff1a;

DatetimeIndex([‘2010-01-01’, ‘2010-01-02’, ‘2010-01-03’, ‘2010-01-04’,
‘2010-01-05’, ‘2010-01-06’, ‘2010-01-07’, ‘2010-01-08’,
‘2010-01-09’, ‘2010-01-10’, ‘2010-01-11’, ‘2010-01-12’,
‘2010-01-13’, ‘2010-01-14’, ‘2010-01-15’, ‘2010-01-16’,
‘2010-01-17’, ‘2010-01-18’, ‘2010-01-19’, ‘2010-01-20’,
‘2010-01-21’, ‘2010-01-22’, ‘2010-01-23’, ‘2010-01-24’,
‘2010-01-25’, ‘2010-01-26’, ‘2010-01-27’, ‘2010-01-28’,
‘2010-01-29’, ‘2010-01-30’],
dtype&＃61;‘datetime64[ns]’, freq&＃61;‘D’)

pd.date_range(&＃39;2010/01/01&＃39;,&＃39;2010/12/1&＃39;,freq &＃61; &＃39;BM&＃39;) #传入BM&＃xff08;business end of month&＃xff09;&＃xff0c;生成每个月最后一个工作日组成的日期索引


输出&＃xff1a;

DatetimeIndex([‘2010-01-29’, ‘2010-02-26’, ‘2010-03-31’, ‘2010-04-30’,
‘2010-05-31’, ‘2010-06-30’, ‘2010-07-30’, ‘2010-08-31’,
‘2010-09-30’, ‘2010-10-29’, ‘2010-11-30’],
dtype&＃61;‘datetime64[ns]’, freq&＃61;‘BM’)

pd.Series(np.arange(13),index &＃61; pd.date_range(&＃39;2010/01/01&＃39;,&＃39;2010/1/3&＃39;,freq &＃61; &＃39;4h&＃39;))


输出&＃xff1a;

2010-01-01 00:00:00 0
2010-01-01 04:00:00 1
2010-01-01 08:00:00 2
2010-01-01 12:00:00 3
2010-01-01 16:00:00 4
2010-01-01 20:00:00 5
2010-01-02 00:00:00 6
2010-01-02 04:00:00 7
2010-01-02 08:00:00 8
2010-01-02 12:00:00 9
2010-01-02 16:00:00 10
2010-01-02 20:00:00 11
2010-01-03 00:00:00 12
Freq: 4H, dtype: int32

period_range可用于创建规则的时期范围

pd.Series(np.arange(10),index &＃61; pd.period_range(&＃39;2019/1/1&＃39;,&＃39;2019/10/01&＃39;,freq&＃61;&＃39;M&＃39;))


输出&＃xff1a;

2019-01 0
2019-02 1
2019-03 2
2019-04 3
2019-05 4
2019-06 5
2019-07 6
2019-08 7
2019-09 8
2019-10 9
Freq: M, dtype: int32

重采样&＃xff08;resampling&＃xff09;指的是将时间序列从一个频率转换到另一个频率的处理过程。

• 降采样&＃xff08;downsampling&＃xff09;&＃xff1a;将高频率数据聚合到低频率数据
• 升采样&＃xff08;upsampling&＃xff09;&＃xff1a;将低频率数据转换到高频率

rng &＃61; pd.date_range(&＃39;2019/01/01&＃39;,periods &＃61; 100,freq&＃61;&＃39;D&＃39;)
ts &＃61; pd.Series(np.random.randn(len(rng)),index&＃61;rng)


ts.resample(&＃39;M&＃39;).mean()


输出&＃xff1a;

2019-01-31 0.011565
2019-02-28 -0.185584
2019-03-31 -0.323621
2019-04-30 0.043687
Freq: M, dtype: float64

ts.resample(&＃39;M&＃39;,kind&＃61;&＃39;period&＃39;).mean()


输出&＃xff1a;

2019-01 0.011565
2019-02 -0.185584
2019-03 -0.323621
2019-04 0.043687
Freq: M, dtype: float64

rng &＃61; pd.date_range(&＃39;2019/01/01&＃39;,periods &＃61; 12,freq&＃61;&＃39;T&＃39;)
ts &＃61; pd.Series(np.random.randn(len(rng)),index&＃61;rng)
ts.resample(&＃39;5min&＃39;).sum()


输出&＃xff1a;

2019-01-01 00:00:00 1.625143
2019-01-01 00:05:00 2.588045
2019-01-01 00:10:00 2.447725
Freq: 5T, dtype: float64

金融领域中有种时间序列聚合方式&＃xff0c;称为OHLC重采样&＃xff0c;即计算各面元的四个值&＃xff1a;

• Open&＃xff1a;开盘
• High&＃xff1a;最高值
• Low&＃xff1a;最小值
• Close&＃xff1a;收盘

输出&＃xff1a;

另一种降采样的办法是实用pandas的groupby方法。

rng &＃61; pd.date_range(&＃39;2019/1/1&＃39;,periods &＃61; 100,freq&＃61;&＃39;D&＃39;)
ts &＃61; pd.Series(np.arange(len(rng)), index &＃61; rng)


ts.resample(&＃39;m&＃39;).mean()


输出&＃xff1a;

2019-01-31 15.0
2019-02-28 44.5
2019-03-31 74.0
2019-04-30 94.5
Freq: M, dtype: float64

ts.groupby(lambda x:x.month).mean()


输出&＃xff1a;

1 15.0
2 44.5
3 74.0
4 94.5
dtype: float64

需要加载stock.csv文件&＃xff0c;该文件格式如下&＃xff1a;

close_px_all &＃61; pd.read_csv(&＃39;datasets/stock.csv&＃39;,parse_dates &＃61; True, index_col&＃61;0)
close_px &＃61; close_px_all[[&＃39;AAPL&＃39;,&＃39;MSFT&＃39;,&＃39;XOM&＃39;]]
close_px.plot() #&＃39;AAPL&＃39;,&＃39;MSFT&＃39;,&＃39;XOM&＃39;股价变化


close_px.resample(&＃39;B&＃39;).ffill().plot() #填充工作日后&＃xff0c;股价变化


close_px.AAPL.loc[&＃39;2011-01&＃39;:&＃39;2011-03&＃39;].plot() #苹果公司2011年1月到3月每日股价


close_px.AAPL.loc[&＃39;2011-01&＃39;:&＃39;2011-03&＃39;].plot() #苹果公司2011年1月到3月每日股价


5.1 移动窗口函数

移动窗口函数&＃xff08;moving window function&＃xff09;指在移动窗口&＃xff08;可带指数衰减权数&＃xff09;上计算的各种统计函数&＃xff0c;也包括窗口不定长的函数&＃xff08;如指数加权移动平均&＃xff09;。 与其他统计函数一样&＃xff0c;移动窗口函数会自动排除缺失值。

close_px.AAPL.plot()
close_px.AAPL.rolling(250).mean().plot() #250日均线


close_px.rolling(250).mean().plot(logy&＃61;True) #250日均线 对数坐标


close_px.AAPL.rolling(250,min_periods&＃61;10).std().plot() #标准差


5.2 指数加权函数

指数加权函数&＃xff1a;定义一个衰减因子&＃xff08;decay factor&＃xff09;&＃xff0c;以赋予近期的观测值拥有更大的权重。衰减因子常用时间间隔&＃xff08;span&＃xff09;&＃xff0c;可以使结果兼容于窗口大小等于时间间隔的简单移动窗口&＃xff08;simple moving window&＃xff09;函数。

appl_px &＃61; close_px.AAPL[&＃39;2005&＃39;:&＃39;2009&＃39;]
ma60 &＃61; appl_px.rolling(60,min_periods&＃61;50).mean() #60日移动平均
ewma60 &＃61; appl_px.ewm(span &＃61; 60).mean() #60日指数加权移动平均


appl_px.plot()
ma60.plot(c&＃61;&＃39;g&＃39;,style&＃61;&＃39;k--&＃39;)
ewma60.plot(c&＃61;&＃39;r&＃39;,style&＃61;&＃39;k--&＃39;) #相对于普通移动平均&＃xff0c;能“适应”更快的变化


5.3 二元移动窗口函数

相关系数和协方差等统计运算需要在两个时间序列上执行&＃xff0c;如某只股票对某个参考指数&＃xff08;如标普500&＃xff09;的相关系数。

aapl_rets &＃61; close_px_all.AAPL[&＃39;1992&＃39;:].pct_change()
spx_rets &＃61; close_px_all.SPX.pct_change()
corr &＃61; aapl_rets.rolling(125,min_periods&＃61;100).corr(spx_rets) #APPL6个月回报与标准普尔500指数的相关系数
corr.plot()


all_rets &＃61; close_px_all[[&＃39;AAPL&＃39;,&＃39;MSFT&＃39;,&＃39;XOM&＃39;]][&＃39;2003&＃39;:].pct_change()
corr &＃61; all_rets.rolling(125,min_periods&＃61;100).corr(spx_rets) #3支股票月回报与标准普尔500指数的相关系数
corr.plot()