python网页结构分析_Python网页解析器使用实例详解

1、常见的python网页解析工具有&＃xff1a;re正则匹配、python自带的html.parser模块、第三方库BeautifulSoup(重点学习)以及lxm库。

2、常见网页解析器分类

&＃xff08;1&＃xff09;模糊匹配 &＃xff1a;re正则表达式即为字符串式的模糊匹配模式&＃xff1b;

&＃xff08;2&＃xff09;结构化解析&＃xff1a; BeatufiulSoup、html.parser与lxml&＃xff0c;他们都以DOM树结构为标准&＃xff0c;进行标签结构信息的提取。

3.DOM树解释&＃xff1a;即文档对象模型&＃xff08;Document Object Model&＃xff09;&＃xff0c;其树形标签结构&＃xff0c;请见下图。

所谓结构化解析&＃xff0c;就是网页解析器它会将下载的整个HTML文档当成一个Doucment对象&＃xff0c;然后在利用其上下结构的标签形式&＃xff0c;对这个对象进行上下级的标签进行遍历和信息提取操作。

# 引入相关的包&＃xff0c;urllib与bs4&＃xff0c;是获取和解析网页最常用的库

from urllib.request import urlopen

from bs4 import BeautifulSoup

# 打开链接

html&＃61;urlopen("https://www.datalearner.com/website_navi")

# 通过urlopen获得网页对象&＃xff0c;将其放入BeautifulSoup中&＃xff0c;bsObj存放的目标网页的html文档

bsObj&＃61;BeautifulSoup(html.read())

print(bsObj)

# soup &＃61; BeautifulSoup(open(url,&＃39;r&＃39;,encoding &＃61; &＃39;utf-8&＃39;))

import requests

from bs4 import BeautifulSoup

headers&＃61;{&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36&＃39;,&＃39;referer&＃39;:"www.mmjpg.com" }

all_url &＃61; &＃39;http://www.mmjpg.com/&＃39;

#&＃39;User-Agent&＃39;:请求方式

#&＃39;referer&＃39;:从哪个链接跳转进来的

start_html &＃61; requests.get(all_url, headers&＃61;headers)

#all_url&＃xff1a;起始的地址&＃xff0c;也就是访问的第一个页面

#headers&＃xff1a;请求头&＃xff0c;告诉服务器是谁来了。

#requests.get&＃xff1a;一个方法能获取all_url的页面内容并且返回内容。

Soup &＃61; BeautifulSoup(start_html.text, &＃39;lxml&＃39;)

#BeautifulSoup&＃xff1a;解析页面

#lxml&＃xff1a;解析器

#start_html.text&＃xff1a;页面的内容

以上就是本文的全部内容&＃xff0c;希望对大家的学习有所帮助&＃xff0c;也希望大家多多支持。