篇首语：本文由编程笔记#小编为大家整理，主要介绍了python解析网站BeautifulSoup相关的知识，希望对你有一定的参考价值。

首先了解一下正则表达式解析网站

正则表达式是解析网站时必须要了解的&＃xff0c;我们在提取网页中的数据时&＃xff0c;可以先将源代码变成字符串&＃xff0c;然后用正则表达式匹配想要的数据

re.match()方法

re.match的意思是从字符串起始位置匹配一个模式&＃xff0c;如果从起始位置匹配不了&＃xff0c;match()就返回none

re.match的语法为re.match(pattern,string,flags&＃61;0)&＃xff0c;其中pattern是正则表达式&＃xff0c;包含一些特殊的字符&＃xff0c;string为要匹配的字符串&＃xff0c;flags用来控制正则表达式的匹配方式&＃xff0c;如是否区分大小写、多行匹配等

re.search方法

re.search扫描整个字符串并返回第一个成功的匹配&＃xff0c;其余与re.match一样

re.findall方法

由于re.match和re.search方法中&＃xff0c;我们只能找到一个匹配所写的模式&＃xff0c;而findall可以找到所有的匹配
findall与match、search不同的是&＃xff0c;findall能够找到所有匹配的结果&＃xff0c;并且以列表的形式返回

BeautifulSoup解析网站

BeautifulSoup可以从HTML或XML文件中提取数据

BeautifulSoup的安装

在cmd中输入&＃xff1a;pip install bs4

BeautifulSoup的其他功能

BeautifulSoup对象是一个复杂的树形结构&＃xff0c;它的每个节点都是python对象&＃xff0c;获取网页的内容就是一个提取对象内容的过程

1. 遍历文档树
2. 搜索文档树
3. CSS选择器

1.遍历文档树

要获取

标签&＃xff0c;只需要输入&＃xff1a;

soup.header.h1


对于某个标签的所有子节点&＃xff0c;我们可以用contents把它的子节点以列表的方式输出&＃xff1a;

soup.header.div.contents


我们也可以使用children方法获得所有子标签&＃xff1a;

for child in soup.header.div.children:
print (child)


上述方法只能获取该节点下一级的节点&＃xff0c;如果要获得所有子子孙孙的节点&＃xff0c;就要用.descendants方法。其代码如下&＃xff1a;

for child in soup.header.div.descendants:
print(child)


除了获取子节点外&＃xff0c;还可以使用.parent方法获得父节点的内容&＃xff1a;

a_tag &＃61; soup.header.div.a
a_tag.parent


2.搜索文档树

在搜索文档树时&＃xff0c;常用的是find()和find_all()
find()和find_all()方法可以和re正则结合起来使用

for tag in soup.find_all(re.compile("^h")):
print(tag.name)


输出&＃xff1a;

html
header
h3


3.CSS选择器

CSS选择器方法既可以作为遍历文档树的方法数据提取&＃xff0c;也可以作为搜索文档树的方法提取数据