Datawhale组队Pandas（下）时序数据（打卡）

Pandas可以处理任何领域的时序数据&＃xff08;time series&＃xff09;&＃xff0c;使用Numpy的datetime64 和timedelta64 类型&＃xff0c;Pandas整合了来自其他Python库的大量功能&＃xff0c;如Scikits.TimeSeries&＃xff0c;并为处理时间序列数据创建了大量新功能。

一、时序的创建

1.四类时间变量

对于时间序列数据&＃xff0c;传统的做法是在Series或DataFrame索引中表示时间分量&＃xff0c;这样就可以对时间元素执行操作。但是&＃xff0c;Series和DataFrame也可以直接支持作为数据本身的时间组件。当传递到这些构造函数时&＃xff0c;Series和DataFrame扩展了对日期时间、时间增量和期间数据的数据类型支持和功能。然而&＃xff0c;DateOffset数据将作为对象数据存储。

#在index加入时间成分&＃xff0c;dtype为int64
pd.Series(range(3), index&＃61;pd.date_range(&＃39;2000&＃39;, freq&＃61;&＃39;D&＃39;, periods&＃61;3))
#直接定义时间成分&＃xff0c;dtype为datetime64[ns]
pd.Series(pd.date_range(&＃39;2000&＃39;, freq&＃61;&＃39;D&＃39;, periods&＃61;3))

2.时间点的创建

Timestamped是将值与时间点相关联的最基本的时间序列数据类型。对于pandas objects来说&＃xff0c;这意味着使用时间点。

&＃xff08;a&＃xff09;to_datetime方法

Pandas在时间点建立的输入格式规定上给了很大的自由度&＃xff0c;下面的语句都能正确建立同一时间点

print(pd.to_datetime(&＃39;2020.1.1&＃39;))
print(pd.to_datetime(&＃39;2020 1.1&＃39;))
print(pd.to_datetime(&＃39;2020 1 1&＃39;))
print(pd.to_datetime(&＃39;2020 1-1&＃39;))
print(pd.to_datetime(&＃39;2020-1 1&＃39;))
print(pd.to_datetime(&＃39;2020-1-1&＃39;))
print(pd.to_datetime(&＃39;2020/1/1&＃39;))
print(pd.to_datetime(&＃39;1.1.2020&＃39;))
print(pd.to_datetime(&＃39;1.1 2020&＃39;))
print(pd.to_datetime(&＃39;1 1 2020&＃39;))
print(pd.to_datetime(&＃39;1 1-2020&＃39;))
print(pd.to_datetime(&＃39;1-1 2020&＃39;))
print(pd.to_datetime(&＃39;1-1-2020&＃39;))
print(pd.to_datetime(&＃39;1/1/2020&＃39;))
print(pd.to_datetime(&＃39;20200101&＃39;))
print(pd.to_datetime(&＃39;2020.0101&＃39;))#pd.to_datetime(&＃39;2020\\1\\1&＃39;) #报错
#pd.to_datetime(&＃39;2020&＃96;1&＃96;1&＃39;) #报错
#pd.to_datetime(&＃39;2020.1 1&＃39;) #报错
#pd.to_datetime(&＃39;1 1.2020&＃39;) #报错

利用format参数强制匹配

print(pd.to_datetime(&＃39;2020\\1\\1&＃39;,format&＃61;&＃39;%Y\\%m\\%d&＃39;))
print(pd.to_datetime(&＃39;2020&＃96;1&＃96;1&＃39;,format&＃61;&＃39;%Y&＃96;%m&＃96;%d&＃39;))
print(pd.to_datetime(&＃39;2020.1 1&＃39;,format&＃61;&＃39;%Y.%m %d&＃39;))
print(pd.to_datetime(&＃39;1 1.2020&＃39;,format&＃61;&＃39;%d %m.%Y&＃39;))

也可使用列表将其转为时间点索引

pd.Series(range(2),index&＃61;pd.to_datetime([&＃39;2020/1/1&＃39;,&＃39;2020/1/2&＃39;]))

查看类型

type(pd.to_datetime([&＃39;2020/1/1&＃39;,&＃39;2020/1/2&＃39;]))

对于DataFrame&＃xff0c;如果列已经按照时间顺序排好&＃xff0c;则利用to_datetime可自动转换

df &＃61; pd.DataFrame({&＃39;year&＃39;: [2020, 2020],&＃39;month&＃39;: [1, 1], &＃39;day&＃39;: [1, 2]})
pd.to_datetime(df)

&＃xff08;b&＃xff09;时间精度与范围限制

Timestamp的精度远远不止day&＃xff0c;可以最小到纳秒ns&＃xff0c;同时它的范围为

pd.to_datetime(&＃39;2020/1/1 00:00:00.123456789&＃39;)#最小范围
print(pd.Timestamp.min) #output:Timestamp(&＃39;1677-09-21 00:12:43.145225&＃39;)
#最大范围
print(pd.Timestamp.min) #output:Timestamp(&＃39;2262-04-11 23:47:16.854775807&＃39;)

&＃xff08;c&＃xff09;date_range方法

start/end/periods&＃xff08;时间点个数&＃xff09;/freq&＃xff08;间隔方法&＃xff09;是该方法最重要的参数&＃xff0c;给定了其中的3个&＃xff0c;剩下的一个就会被却sing

freq参数如下&＃xff1a;

3.Dateoffset对象

&＃xff08;a&＃xff09;DateOffset与Timedelta的区别

Timedelta绝对时间差的特点指无论是冬令时还是夏令时&＃xff0c;增减1day都只计算24小时

DateOffset相对时间差指&＃xff0c;无论一天是23/24/25小时&＃xff0c;增减1day都与当天相同的时间保持一致

例如&＃xff0c;英国当地时间 2020年03月29日&＃xff0c;01:00:00 时钟向前调整 1 小时 变为 2020年03月29日&＃xff0c;02:00:00&＃xff0c;开始夏令时

ts &＃61; pd.Timestamp(&＃39;2020-3-29 01:00:00&＃39;, tz&＃61;&＃39;Europe/Helsinki&＃39;)
ts &＃43; pd.Timedelta(days&＃61;1)

ts &＃61; pd.Timestamp(&＃39;2020-3-29 01:00:00&＃39;, tz&＃61;&＃39;Europe/Helsinki&＃39;)
ts &＃43; pd.DateOffset(days&＃61;1)

可去除tz属性&＃xff0c;就可使两者保持一致。

&＃xff08;b&＃xff09;增减一段时间

pd.Timestamp(&＃39;2020-01-01&＃39;) &＃43; pd.DateOffset(minutes&＃61;20) - pd.DateOffset(weeks&＃61;2)

&＃xff08;c&＃xff09;各类常用offset对象

pd.Timestamp(&＃39;2020-01-01&＃39;) &＃43; pd.offsets.Week(2) #增加两星期
pd.Timestamp(&＃39;2020-01-01&＃39;) &＃43; pd.offsets.BQuarterBegin(1) #营业季度开始

&＃xff08;d&＃xff09;序列的offset操作

利用apply函数

pd.Series(pd.offsets.BYearBegin(3).apply(i) for i in pd.date_range(&＃39;20200101&＃39;,periods&＃61;3,freq&＃61;&＃39;Y&＃39;))

直接使用对象加减

pd.date_range(&＃39;20200101&＃39;,periods&＃61;3,freq&＃61;&＃39;Y&＃39;) &＃43; pd.offsets.BYearBegin(3)

定制offset&＃xff0c;可以指定weekmask和holidays参数

pd.Series(pd.offsets.CDay(3,weekmask&＃61;&＃39;Wed Fri&＃39;,holidays&＃61;&＃39;2020010&＃39;).apply(i)for i in pd.date_range(&＃39;20200105&＃39;,periods&＃61;3,freq&＃61;&＃39;D&＃39;))

二、时序的索引及属性

1.索引切片

rng &＃61; pd.date_range(&＃39;2020&＃39;,&＃39;2021&＃39;, freq&＃61;&＃39;W&＃39;)
ts &＃61; pd.Series(np.random.randn(len(rng)), index&＃61;rng)
ts[&＃39;2020-01-26&＃39;:&＃39;20200726&＃39;].head() #日期从01-26&＃xff0c;到07-26&＃xff0c;字符自己转换成合理的

2.子集索引

#只取7月份数据
ts[&＃39;2020-7&＃39;].head()
#支持混合形态索引
ts[&＃39;2011-1&＃39;:&＃39;20200726&＃39;].head()

3.时间点的属性

采用dt对象可以轻松获得关于时间的信息

#2020年有52个星期
pd.Series(ts.index).dt.week
#每星期是在几号
pd.Series(ts.index).dt.day

利用strftime修改时间格式

pd.Series(ts.index).dt.strftime(&＃39;%Y-间隔1-%m-间隔2-%d&＃39;).head()

对于datetime对象可以直接通过属性获取信息

#每个星期所在的月份
pd.date_range(&＃39;2020&＃39;,&＃39;2021&＃39;, freq&＃61;&＃39;W&＃39;).month
#每个星期所在的月份
pd.date_range(&＃39;2020&＃39;,&＃39;2021&＃39;, freq&＃61;&＃39;W&＃39;).weekday #The number of the day of the week with Monday&＃61;0, Sunday&＃61;6

三、重采样

重采样&＃xff0c;就是指resample函数&＃xff0c;它可以看做时序版本的groupby函数

1.resample对象的基本操作

采样频率一般设置为上面提到的offset字符

df_r &＃61; pd.DataFrame(np.random.randn(1000, 3),index&＃61;pd.date_range(&＃39;1/1/2020&＃39;, freq&＃61;&＃39;S&＃39;, periods&＃61;1000),columns&＃61;[&＃39;A&＃39;, &＃39;B&＃39;, &＃39;C&＃39;])
r &＃61; df_r.resample(&＃39;3min&＃39;)
r.sum()

2.采样聚合

df_r &＃61; pd.DataFrame(np.random.randn(1000, 3),index&＃61;pd.date_range(&＃39;1/1/2020&＃39;, freq&＃61;&＃39;S&＃39;, periods&＃61;1000),columns&＃61;[&＃39;A&＃39;, &＃39;B&＃39;, &＃39;C&＃39;])
r &＃61; df_r.resample(&＃39;3T&＃39;)#只求一个值
r[&＃39;A&＃39;].mean()
#表示多个
r[&＃39;A&＃39;].agg([np.sum, np.mean, np.std])
#使用lambda
r.agg({&＃39;A&＃39;: np.sum,&＃39;B&＃39;: lambda x: max(x)-min(x)})

3.采样组的迭代

采样组的迭代和groupby迭代完全类似&＃xff0c;对于每一个组都可以分别做相应操作

small &＃61; pd.Series(range(6),index&＃61;pd.to_datetime([&＃39;2020-01-01 00:00:00&＃39;, &＃39;2020-01-01 00:30:00&＃39;, &＃39;2020-01-01 00:31:00&＃39;,&＃39;2020-01-01 01:00:00&＃39;,&＃39;2020-01-01 03:00:00&＃39;,&＃39;2020-01-01 03:05:00&＃39;]))
resampled &＃61; small.resample(&＃39;H&＃39;)
for name, group in resampled:print("Group: ", name)print("-" * 27)print(group, end&＃61;"\n\n")

四、窗口函数

1.Rolling

&＃xff08;a&＃xff09;常用聚合

s &＃61; pd.Series(np.random.randn(1000),index&＃61;pd.date_range(&＃39;1/1/2020&＃39;, periods&＃61;1000))
#
s.rolling(window&＃61;50)
#
s.rolling(window&＃61;50).mean()
#min_periods是指需要的非缺失数据点数量阈值
s.rolling(window&＃61;50,min_periods&＃61;3).mean()

此外&＃xff0c;还有count/sum/mean/median/min/max/std/var/skew/kurt/quantile/cov/corr都是常用的聚合函数

&＃xff08;b&＃xff09;rolling的apply聚合

使用apply聚合时&＃xff0c;只需记住传入的是window大小的Series&＃xff0c;输出的必须是标量即可&＃xff0c;

#计算变异系数
s.rolling(window&＃61;50,min_periods&＃61;3).apply(lambda x:x.std()/x.mean()).head()

&＃xff08;c&＃xff09;基于时间的Rolling

可选closed&＃61;&＃39;right&＃39;&＃xff08;默认&＃xff09;\&＃39;left&＃39;\&＃39;both&＃39;\&＃39;neither&＃39;参数&＃xff0c;决定端点的包含情况

s.rolling(&＃39;15D&＃39;).mean().head()
#添加closed
s.rolling(&＃39;15D&＃39;, closed&＃61;&＃39;right&＃39;).sum().head()

2.Expanding

&＃xff08;a&＃xff09;expanding函数

普通的expanding函数等价与rolling(window&＃61;len(s),min_periods&＃61;1),是对序列的累计计算&＃xff0c;apply也适用

#rolling
s.rolling(window&＃61;len(s),min_periods&＃61;1).sum().head()
#expanding
s.expanding().sum().head()
#apply
s.expanding().apply(lambda x:sum(x)).head()

&＃xff08;b&＃xff09;几个特别的Expanding类型函数

cumsum/cumprod/cummax/cummin都是特殊expanding累计计算方法

shift/diff/pct_change都是涉及到了元素关系

①shift是指序列索引不变&＃xff0c;但值向后移动

②diff是指前后元素的差&＃xff0c;period参数表示间隔&＃xff0c;默认为1&＃xff0c;并且可以为负

③pct_change是值前后元素的变化百分比&＃xff0c;period参数与diff类似