python抓包模块,Python数据抓取_BeautifulSoup模块的使用

在数据抓取的过程中&＃xff0c;我们往往都需要对数据进行处理

本篇文章我们主要来介绍python的HTML和XML的分析库BeautifulSoup

BeautifulSoup 的官方文档网站如下

BeautifulSoup官网

BeautifulSoup可以在HTML和XML的结构化文档中抽取出数据&＃xff0c;而且还提供了各类方法&＃xff0c;可以很方便的对文档进行搜索、抽取和修改&＃xff0c;能极大的提高我们数据挖掘的效率

下面我们来安装BeautifulSoup

BeautifulSoup模块安装

(上面我已经安装过了&＃xff0c;所以没有显示进度条)

非常简单&＃xff0c;无非就是pip install 加安装的包名

pip3 install bs4

下面我们开始正式来学习这个模块

首先还是提供一个目标网址

我的个人网站

特克斯博客

下面我们通过requests的get方法保存这个网址内容的源代码

import requests

urls &＃61; "http://www.susmote.com"

resp &＃61; requests.get(urls)

resp.encoding &＃61; "utf8"

content &＃61; resp.text

with open("Bs4_test.html", &＃39;w&＃39;, encoding&＃61;"utf8") as f:

f.write(content)

运行起来&＃xff0c;我们马上就能得到这个网页的源代码了

网站源代码

下面我们写的程序就是专门针对这个源代码利用BeautifulSoup来分析

首先我们来获取里面所有的a标签的href链接和对应的文本

代码如下

from bs4 import BeautifulSoup

with open("Bs4_test.html", &＃39;r&＃39;, encoding&＃61;&＃39;utf8&＃39;) as f:

bs &＃61; BeautifulSoup(f.read())

a_list &＃61; bs.find_all(&＃39;a&＃39;)

for a in a_list:

if a.text !&＃61; "":

print(a.text.strip(), a["href"])

首先我们从BS4里面导入BeautifulSoup

然后以只读模式打开文件打开文件&＃xff0c;我们把f.read()作为BeautifulSoup的参数&＃xff0c;也就是将字符串初始化&＃xff0c;把返回的对象记为bs

然后我们就可以调用BeautifulSoup的方法了&＃xff0c;BeautifulSoup的最常用的方法就是find和find_all,可以在文档中找到符合条件的元素&＃xff0c;区别就是找到一个&＃xff0c;和找到所有

在这里我们使用find_all方法,他的常用形式是

元素列表 &＃61; bs.find_all(元素名称, attires &＃61; {属性名:属性值})

然后就是依次输出找到的元素&＃xff0c;这里就不多说 了

我们在命令行运行这段代码

运行代码

输出结果如下

输出结果

找寻的结果太多&＃xff0c;不一一呈现

可以看到爬取的链接其中有很多规律

例如标签链接

我们可以对代码进行稍微的更改&＃xff0c;以获取网站所有的标签链接&＃xff0c;也就是做一个过滤

代码如下

from bs4 import BeautifulSoup

with open("Bs4_test.html", &＃39;r&＃39;, encoding&＃61;&＃39;utf8&＃39;) as f:

bs &＃61; BeautifulSoup(f.read(), "lxml")

a_list &＃61; bs.find_all(&＃39;a&＃39;)

for a in a_list:

if a.text !&＃61; "" and &＃39;tag&＃39; in a["href"]:

print(a.text.strip(), a["href"])

大致内容没有改变&＃xff0c;只是在输出前加了一个判定条件&＃xff0c;以实现过滤

我们在命令行运行这个程序

运行代码

结果如下

输出结果

除了这样&＃xff0c;你还可以使用很多方法达到相同的目标

使用attrs &＃61; [ 属性名 : 属性值 ] 参数

属性名我相信学过html的人一定都知道&＃xff0c;例如"class"&＃xff0c;"id"、"style"都是属性&＃xff0c;下面我们逐步深入&＃xff0c;利用这个来深入挖掘数据

获取我的博客网站中每篇文章的标题

经过浏览器调试&＃xff0c;我们很容易获取到我的博客网页中标题部分的属性样式

如下图

浏览器调试

标题样式是一个

非常简单的一个属性

下面我们通过代码来实现批量获取文章标题

# coding&＃61;utf-8

__Author__ &＃61; "susmote"

from bs4 import BeautifulSoup

n &＃61; 0

with open("Bs4_test.html", &＃39;r&＃39;, encoding&＃61;&＃39;utf8&＃39;) as f:

bs &＃61; BeautifulSoup(f.read(), "lxml")

header_list &＃61; bs.find_all(&＃39;header&＃39;, attrs&＃61;{&＃39;class&＃39;: &＃39;post-header&＃39;})

for header in header_list:

n &＃61; int(n)

n &＃43;&＃61; 1

if header.text !&＃61; "":

print(str(n) &＃43; ": " &＃43; header.text.strip() &＃43; "\n")

大体上跟之前的代码没什么差别&＃xff0c;只是在find_all方法中多加了一个参数&＃xff0c;attrs以实现属性过滤&＃xff0c;然后为了使结果更清晰&＃xff0c;我加了一个n

在命令行下运行,结果如下

运行结果

利用正则表达式来表达属性值的特征

无非就是在属性值后面加一个正则匹配的方法&＃xff0c;我在这就不过多解释了&＃xff0c;如果想要了解&＃xff0c;可以自行上网百度