使用read_html爬取网页表哥,简单又强大的pandas爬虫利用pandas库的read_html()方法爬取网页表格型数据...

一、简介

一般的爬虫套路无非是发送请求、获取响应、解析网页、提取数据、保存数据等步骤。构造请求主要用到requests库&＃xff0c;定位提取数据用的比较多的有xpath和正则匹配。一个完整的爬虫&＃xff0c;代码量少则几十行&＃xff0c;多则百来行&＃xff0c;对于新手来说学习成本还是比较高的。

谈及pandas的read.xxx系列的函数&＃xff0c;常用的读取数据方法为&＃xff1a;pd.read_csv() 和 pd.read_excel()&＃xff0c;而 pd.read_html() 这个方法虽然少用&＃xff0c;但它的功能非常强大&＃xff0c;特别是用于抓取Table表格型数据时&＃xff0c;简直是个神器。无需掌握正则表达式或者xpath等工具&＃xff0c;短短的几行代码就可以将网页数据快速抓取下来并保存到本地。

二、原理

pandas适合抓取Table表格型数据&＃xff0c;先了解一下具有Table表格型数据结构的网页&＃xff0c;举例如下&＃xff1a;

用Chrome浏览器查看网页HTML结构&＃xff0c;会发现Table表格型数据有一些共同点&＃xff0c;大致的网页结构如下表示。

...

...

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

网页具有以上结构&＃xff0c;我们可以尝试用pandas的 pd.read_html() 方法来直接获取数据。

pd.read_html() 的一些主要参数

io&＃xff1a;接收网址、文件、字符串

header&＃xff1a;指定列名所在的行

encoding&＃xff1a;The encoding used to decode the web page

attrs&＃xff1a;传递一个字典&＃xff0c;用其中的属性筛选出特定的表格

parse_dates&＃xff1a;解析日期

三、爬取实战

实例1

import pandas as pd

dates &＃61; pd.date_range(&＃39;20190101&＃39;, &＃39;20191201&＃39;, freq&＃61;&＃39;MS&＃39;).strftime(&＃39;%Y%m&＃39;) # 构造出日期序列 便于之后构造url

for i in range(len(dates)):

df &＃61; pd.read_html(f&＃39;http://www.tianqihoubao.com/aqi/chengdu-{dates[i]}.html&＃39;, encoding&＃61;&＃39;gbk&＃39;, header&＃61;0)[0]

if i &＃61;&＃61; 0:

df.to_csv(&＃39;2019年成都空气质量数据.csv&＃39;, mode&＃61;&＃39;a&＃43;&＃39;, index&＃61;False) # 追加写入

i &＃43;&＃61; 1

else:

df.to_csv(&＃39;2019年成都空气质量数据.csv&＃39;, mode&＃61;&＃39;a&＃43;&＃39;, index&＃61;False, header&＃61;False)

1

2

3

4

5

6

7

8

9

10

9行代码搞定&＃xff0c;爬取速度也很快。

查看保存下来的数据

实例2

import pandas as pd

df &＃61; pd.DataFrame()

for i in range(1, 26):

url &＃61; f&＃39;http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p&＃61;{i}&＃39;

df &＃61; pd.concat([df, pd.read_html(url)[0].iloc[::,:-1]]) # 合并DataFrame 不要明细那一列

df.to_csv(&＃39;新浪财经基金重仓股数据.csv&＃39;, encoding&＃61;&＃39;utf-8&＃39;, index&＃61;False)

1

2

3

4

5

6

7

6行代码搞定&＃xff0c;爬取速度也很快。

查看保存下来的数据&＃xff1a;

之后在爬取一些小型数据时&＃xff0c;只要遇到这种Table表格型数据&＃xff0c;就可以先试试 pd.read_html() 大法。