Python/下载数据

本篇将访问并可视化以两种常见格式存储的数据&＃xff1a;CSV和JSON。将使用Python模块csv来处理CSV格式存储的天气数据&＃xff0c;找出两个不同地区在一段时间内的最高温度和最低温度。然后&＃xff0c;我们将使用matplotlib根据下载的数据创建一个图表&＃xff0c;展示两个不同地区的气温变化&＃xff1a;阿拉斯加锡特卡和加州死亡谷&＃xff1b;将使用模块json来访问以JSON格式存储的交易收盘价数据&＃xff0c;并使用Pygal绘制图形以探索价格变化的周期性

处理CSV文件

从书籍配套资源下载源代码&＃xff0c;获得数据文件sitka_weather_07-2014.csv到project文件夹下

分析CSV头文件

打开srv文件&＃xff0c;获取srv首行头文件数据&＃xff0c;且对应其其索引打印出来

# highs_lows.py
import csvfrom sqlalchemy import columnfile_name &＃61; &＃39;sitka_weather_07-2014.csv&＃39;
with open(file_name) as f:reader &＃61; csv.reader(f)header_row &＃61; next(reader)# 调用next()一次&＃xff0c;因此得到的是文件的第一行数据for index, column_header in enumerate(header_row): # 使用enumerate()获得每个元素的索引及其值print(index, column_header)

提取并读取数据

获取Max temperature列的数据

# highs_lows.py--snip--with open(filename) as f:highs&＃61;[]--snip--for row in reader:highs.append(int(row[1]))# 从首行文件头可知处于第二列的 Max TemperatureF 及为高温度print(highs)

绘制气温图表

将所获取的highs利用matplotlib的pyplot模块&＃xff0c;用plot()绘制出折线图

# highs_lows.py
--snip--
fig &＃61; plt.figure(dpi&＃61;128, figsize&＃61;(10, 6))
plt.plot(highs, c&＃61;&＃39;red&＃39;)plt.title(&＃39;Daily high temperatures, July 2014&＃39;, fontsize&＃61;24)
plt.xlabel(&＃39;Daily&＃39;, fontsize&＃61;16)
plt.ylabel(&＃39;Temperature (F)&＃39;, fontsize&＃61;16)
plt.tick_params(axis&＃61;&＃39;both&＃39;, which&＃61;&＃39;major&＃39;, labelsize&＃61;16)plt.show()

使用datetime模块获取日期

使用datetime模块中的datetime类&＃xff0c;调用strptime()方法接收各种实参&＃xff0c;并因此决定解读日期

>>>from datetime import datetime
>>>first_data &＃61; datetime.strptime(&＃39;2014-7-1&＃39;, &＃39;%Y-%m-%d&＃39;)
>>>Xprint(first_date)
2014-07-01 00:00:00


# highs_lows.py
import csv
from matplotlib import pyplot as plt
from datetime import datetimefile_name &＃61; &＃39;sitka_weather_07-2014.csv&＃39;
with open(file_name) as f:reader &＃61; csv.reader(f)header_row &＃61; next(reader)head_file &＃61; {}dates, highs &＃61; [], []# 调用next()一次&＃xff0c;因此得到的是文件的第一行数据for index, column_header in enumerate(header_row):# 使用enumerate()获得每个元素的索引及其值head_file[index] &＃61; [column_header]#print(index, column_header)for row in reader:# 提取每行数据highs.append(int(row[1]))# 从首行文件头可知处于第二列的 Max TemperatureF 及为高温度current_date &＃61; datetime.strptime(row[0], "%Y-%m-%d")dates.append(current_date)# print(highs)fig &＃61; plt.figure(dpi&＃61;128, figsize&＃61;(10, 6))
plt.plot(dates, highs, c&＃61;&＃39;red&＃39;)plt.title(&＃39;Daily high temperatures, July 2014&＃39;, fontsize&＃61;24)
plt.xlabel(&＃39;Daily&＃39;, fontsize&＃61;16)
fig.autofmt_xdate()
# 绘制倾斜的日期
plt.ylabel(&＃39;Temperature (F)&＃39;, fontsize&＃61;16)
plt.tick_params(axis&＃61;&＃39;both&＃39;, which&＃61;&＃39;major&＃39;, labelsize&＃61;16)plt.show()


添加最低温度折线

新增lows列表变量&＃xff0c;记录2014的最低温度值&＃xff0c;用于后续plot()方法中绘制出来

# highs_lows.py
import csv
from matplotlib import pyplot as plt
from datetime import datetimefile_name &＃61; &＃39;sitka_weather_2014.csv&＃39;
with open(file_name) as f:reader &＃61; csv.reader(f)header_row &＃61; next(reader)head_file &＃61; {}dates, highs, lows &＃61; [], [], []# 调用next()一次&＃xff0c;因此得到的是文件的第一行数据for index, column_header in enumerate(header_row):# 使用enumerate()获得每个元素的索引及其值head_file[index] &＃61; [column_header]#print(index, column_header)for row in reader:# 提取每行数据highs.append(int(row[1]))lows.append(int(row[3]))# 从首行文件头可知处于第二列的 Max TemperatureF 及为高温度current_date &＃61; datetime.strptime(row[0], "%Y-%m-%d")dates.append(current_date)# print(highs)fig &＃61; plt.figure(dpi&＃61;128, figsize&＃61;(10, 6))
plt.plot(dates, highs, c&＃61;&＃39;red&＃39;)
plt.plot(dates, lows, c&＃61;&＃39;blue&＃39;)plt.title(&＃39;Daily high temperatures, 2014&＃39;, fontsize&＃61;20)
plt.xlabel(&＃39;Daily&＃39;, fontsize&＃61;16)
fig.autofmt_xdate()
# 绘制倾斜的日期
plt.ylabel(&＃39;Temperature (F)&＃39;, fontsize&＃61;16)
plt.tick_params(axis&＃61;&＃39;both&＃39;, which&＃61;&＃39;major&＃39;, labelsize&＃61;10)plt.show()

---

给图表区域着色

之前的案例已经显示了最高、低温度的折线&＃xff0c;使用fill_between()方法&＃xff0c;接收一个x值和两个y值&＃xff0c;并填充两个y值系列之间的空间

# highs_lows.py
fig&＃61;plt.figure(dpi&＃61;128, figsize&＃61;(10, 6))
plt.plot(dates, highs, c&＃61;&＃39;red&＃39;, alpha&＃61;0.5)
plt.plot(dates, lows, c&＃61;&＃39;blue&＃39;, alpha&＃61;0.5)
plt.fill_between(dates, highs, lows, facecolor&＃61;&＃39;blue&＃39;, alpha&＃61;0.1)
# alpha参数指定颜色的透明度&＃xff0c;0为完全透明&＃xff0c;1为完全不透明


---

处理JSON文件

本节将使用到JSON格式的交易收盘价数据&＃xff0c;并使用json模块处理它们&＃xff0c;对收盘价数据进行可视化&＃xff0c;以探索价格变化的周期性
需下载btc_close_2017.json文件
这个文件里是python列表&＃xff0c;每个元素是包含5个键值对的字典dic&＃xff1a;日期&＃xff0c;月份&＃xff0c;周数&＃xff0c;周几&＃xff0c;收盘价

下载json文件数据

从Github上下载btc_close_2017.json数据

# btc_close_2017.py
from urllib.request import urlopen
import json
json_url &＃61; <.json文件url路径> # &＃39;https://raw.githubsercontent.com/muxuezi/btc/master/btc_close_2017.json&＃39;
response&＃61;urlopen(json_url)
# python向Github服务器发送请求btc_close_2017.json
req&＃61;response.read()
# 读取数据
with open(<.json文件物理地址>, &＃39;wb&＃39;) as f:# 将数据写入文件f.write(req)file_urllib&＃61;json.loads(req)
# 加载json格式&＃xff0c;将文件内容转换成python能处理的格式&＃xff0c;与直接下载的文件内容一致
print(file_urllib)

另外可以使用requests模块get&＃xff08;&＃xff09;方法获取数据

import requests
json_url &＃61; <.json文件url地址>
req&＃61;requests.get(json.url)with open (<.json文件物理地址>, &＃39;w&＃39;) as f:f.write(req.text)# req的text属性可直接读取文件数据&＃xff0c;返回字符串
file_requests&＃61;req.json()
# 将json文件的数据转换成python列表file_requests&＃xff0c;与此前file_urllib内容相同


---

提取相关数据

import json
filename&＃61;&＃39;btc_close_2017.json&＃39;
with open(filename) as f:btc_data&＃61;json.load(f)for btc_dict in btc_date:date &＃61; btc_dict[&＃39;date&＃39;]month &＃61; int(btc_dict[&＃39;month&＃39;])week &＃61; int(btc_dict[&＃39;week&＃39;])weekday &＃61; btc_dict[&＃39;weekday&＃39;]close &＃61; float(btc_dict[&＃39;close&＃39;])print(&＃39; the date is {}, the month is {}, the week is {}, the weekday is {}, the close price is {} RMB&＃39;.format(date, month, week, weekday, close))


即可打印列表中每个字典的键值对

绘制收盘价折线图

本例使用pygal来实现收盘价的折线图

# btc_close_2017.py
import json
import pygal
filename&＃61;&＃39;btc_close_2017.json&＃39;
with open(filename) as f:btc_data&＃61;json.load(f)dates&＃61;[]
months&＃61;[]
weeks&＃61;[]
weekdays&＃61;[]
close&＃61;[]
for btc_dict in btc_date:dates.append(btc_dict[&＃39;date&＃39;])months.append(int(btc_dict[&＃39;month&＃39;]))weeks.append(int(btc_dict[&＃39;week&＃39;]))weekdays.append(btc_dict[&＃39;weekday&＃39;])close.append(float(btc_dict[&＃39;close&＃39;]))
print(len(dates))
line_chart &＃61; pygal.Line(x_label_rotation&＃61;20, show_minor_x_labels&＃61;False)
# x_laber_rotation&＃61;20,令x坐标标签顺时针转20&＃xff0c;show_minor_x_laberls&＃61;False&＃xff0c;令不用显示所有x轴标签
line_chart._title &＃61; "close price"
line_chart.x_labels &＃61; dates
N &＃61; 20
line_chart._x_labels_major &＃61; dates[::N]
# 设置_xlabels_major属性&＃xff0c;令x轴坐标隔20个显示一次
line_chart.add(&＃39;close price&＃39;, close)
line_chart.render_to_file(&＃39;images/close price picture.svg&＃39;)

研究时间序列的趋势&＃xff0c;周期性&＃xff0c;噪声&＃xff1b;一般对非线性的趋势消除&＃xff0c;进行logtransformation对数变换

import math
-snip-
print(len(dates))
line_chart &＃61; pygal.Line(x_label_rotation&＃61;20, show_minor_x_labels&＃61;False)
# x_laber_rotation&＃61;20,令x坐标标签顺时针转20&＃xff0c;show_minor_x_laberls&＃61;False&＃xff0c;令不用显示所有x轴标签
line_chart._title &＃61; "close price logtransfomation"
line_chart.x_labels &＃61; dates
N &＃61; 20
line_chart.x_labels_major &＃61; dates[::N]
# 设置_xlabels_major属性&＃xff0c;令x轴坐标隔20个显示一次
close_log&＃61;[math.log10(n) for n in close]
line_chart.add(&＃39;close price logtransformation&＃39;, close_log)
line_chart.render_to_file(&＃39;images/close price logtransformation picture.svg&＃39;)

数据统计分析

利用json文件中的数据&＃xff0c;绘制日均值&＃xff0c;以及每周各天的日均值。可以将之前绘图代码封装成函数draw_line(x_data, y_data, title, y_legend)&＃xff0c;以便重复调用

封装函数—groupby()

python中的groupby函数主要的作用是进行数据的分组以及分组后的组内运算&＃xff0c;for key group in groupby(列表, lambda c: c.function())&＃xff0c;实际上挑选规则是通过函数完成的&＃xff0c;只要作用于函数的两个元素key相同&＃xff0c;就能被分到同一组&＃xff0c;返回key对应的每一组group;
y_list &＃61; [v for _, v in y]这一行代码还不理解&＃xff0c;显然-就是key, [ ]就是一个生成器&＃xff0c;用于获取对应key的group中的元素

from itertools import groupby
# groupby函数的主要作用是进行数据分组以及分组后的组内运算
def draw_line(x_data, y_data, title, y_legend):xy_map &＃61; []for x, y in groupby(sorted(zip(x_data, y_data)), key&＃61;lambda _: _[0]):y_list &＃61; [v for _, v in y]xy_map.append([x, sum(y_list)/len(y_list)])x_unique, y_mean &＃61; [*zip(*xy_map)]line_chart &＃61; pygal.Line()line_chart.title &＃61; titleline_chart.x_labels &＃61; x_uniqueline_chart.add(y_legend, y_mean)line_chart.render_to_file(&＃39;images/&＃39;&＃43;title&＃43;&＃39;.svg&＃39;)return line_chart


---

数据筛选

查看月日均值

# btc_close_2017.py
-snip-
idx_month &＃61; dates.index(&＃39;2017-12-01&＃39;)
# index()方法用于从列表中找出某个值第一个匹配项的索引值
line_chart_month &＃61; draw_line(months[:idx_month], close[:idx_month],&＃39;close monthly average price&＃39;, &＃39;monthly average price&＃39;)
line_chart_month

查看周日均值

# btc_close_2017.py
-snip-
idx_month &＃61; dates.index(&＃39;2017-12-01&＃39;)
# index()方法用于从列表中找出某个值第一个匹配项的索引值
line_chart_month &＃61; draw_line(weeks[1:idx_month], close[1:idx_month],&＃39;close weekly average price&＃39;, &＃39;weekly average price&＃39;)
line_chart_month