Python爬虫——爬取上海15天天气高低温度

&＃x1f6a4;想获取近15天上海天气数据&＃xff0c;并绘制成折线图&＃xff0c;用爬虫的xpath和re来解决数据获取的需求&＃xff0c;pylab来解决绘制折线图的需求。

⚠️提示&＃xff1a;爬虫不可用作违法活动&＃xff0c;爬取时要设定休眠时间&＃xff0c;不可过度爬取&＃xff0c;造成服务器宕机&＃xff0c;需付法律责任&＃xff01;&＃xff01;&＃xff01;

&＃x1f6a3;目标是获取上海这个城市15天内的天气高低温数据&＃xff0c;并绘制成折线图

1.进行分析

⚓️数据采用服务器渲染模式&＃xff0c;天气温度数据直接在html页面中包裹&＃xff0c;可以利用xpath或者re进行定位获取数据。
但是7天内和8-15天数据两个不同的页面&＃xff0c;所以需要爬取两次数据

2.整体代码

import requests
from lxml import etree
from pylab import * # 支持中文# 设置爬取网站url
base_url &＃61; "http://www.weather.com.cn/weather/101020100.shtml"
# requests进行爬取代码
resp &＃61; requests.get(url&＃61;base_url)# XPATH解析
html &＃61; etree.HTML(resp.text)
# 拿到天气的li&＃xff0c;在li里包含每天天气的全部数据&＃xff0c;包括日期/天气/气温/城市等等
lis &＃61; html.xpath(&＃39;//*[&＃64;id&＃61;"7d"]/ul/li&＃39;)
# 创建日期、最高气温、最低气温的数组&＃xff0c;为了后续把爬取的数据添加到数组中&＃xff0c;进而进一步把数组用plot进行绘制折线图
days &＃61; []
lows &＃61; []
highs &＃61; []
# 对7天天气的li进行遍历&＃xff0c;为了获取高低温度和日期
for li in lis:print("正在爬取近7天···")# 获取7天高温high &＃61; li.xpath("./p[2]/span/text()")[0]# 获取7天低温low &＃61; li.xpath("./p[2]/i/text()")[0][0:2]# 获取7天日期day &＃61; li.xpath("./h1/text()")[0][0:2]# 把7天日期、高温、低温添加到数组中days.append(day)lows.append((int)(low))highs.append((int)(high))# 设置休眠1秒time.sleep(1)# 设置8-15天的url
base_url &＃61; "http://www.weather.com.cn/weather15d/101020100.shtml"
# requests进行爬取8-15天页面代码
resp &＃61; requests.get(url&＃61;base_url)
# 设置编码
resp.encoding &＃61; &＃39;utf-8&＃39;
# XPATH解析
html &＃61; etree.HTML(resp.text)
# 拿到8-15天源码里每天的天气的li
lis &＃61; html.xpath(&＃39;//*[&＃64;id&＃61;"15d"]/ul/li&＃39;)
# 对8-15天的天气li进行遍历&＃xff0c;为了获取高低温度和日期
for li in lis:print("正在爬取近8-15天···")# 获取8-15天高温high &＃61; li.xpath("./span[&＃64;class&＃61;&＃39;tem&＃39;]/em/text()")[0][:2]# 获取8-15天低温low &＃61; li.xpath("./span[&＃64;class&＃61;&＃39;tem&＃39;]/text()")[0][1:3]# 获取8-15天日期day &＃61; li.xpath("./span[&＃64;class&＃61;&＃39;time&＃39;]/text()")[0][3:5]# 把8-15天日期、高温、低温添加到数组中days.append(day)lows.append((int)(low))highs.append((int)(high))# 设置休眠1秒time.sleep(1)# 爬取15日的日期、高低气温结束
# 打印15日各项信息
print("日期列表如下&＃xff1a;")
print(days)
print("最低气温列表如下&＃xff1a;")
print(lows)
print("最高气温列表如下&＃xff1a;")
print(highs)# 下方代码绘制高低气温折线图图表
# 设置字体
mpl.rcParams[&＃39;font.sans-serif&＃39;] &＃61; [&＃39;SimHei&＃39;]
# 设置x轴长度
x &＃61; range(len(days))
# 限定纵轴的范围
plt.ylim(0, 40)
# 低温、高温数据加载&＃xff0c;设置图形表示&＃xff0c;设置解释
plt.plot(x, lows, marker&＃61;&＃39;o&＃39;, mec&＃61;&＃39;r&＃39;, mfc&＃61;&＃39;w&＃39;, label&＃61;u&＃39;最低气温&＃39;)
plt.plot(x, highs, marker&＃61;&＃39;*&＃39;, ms&＃61;10, label&＃61;u&＃39;最高气温&＃39;)
# 让图例生效
plt.legend()
plt.xticks(x, days, rotation&＃61;45)
plt.margins(0)
plt.subplots_adjust(bottom&＃61;0.15)
# X轴标签
plt.xlabel(u"日期")
# Y轴标签
plt.ylabel("温度")
# 标题
plt.title("近15日气温")
# 图例显示
plt.show()

&＃x1f694;程序运行的输出如下

&＃x1f692;输出的折线图如下

爬虫的基本步骤&＃xff1a;
1.检查有没有反爬&＃xff0c;设置常规反反爬&＃xff0c;User-Agent和referer都是最常见的反爬手段
2.利用xpath和re技术进行定位&＃xff0c;定位后获取想到的数据即可
3.利用file文件操作写入到文本中
4.注意设置time休眠