开发笔记:python解析HTML之:PyQuery库的介绍与使用

前言

Python关于爬虫的库挺多的，也各有所长。了解前端的也都知道， jQuery 能够通过选择器精确定位 DOM 树中的目标并进行操作，所以我想如果能用 jQuery 去爬网页那就 cool 了。

就搜了下看 Python 有没有与 DOM 相关的库什么的，还真找到了—— PyQuery ！

PyQuery简介

pyquery相当于jQuery的python实现，可以用于解析HTML网页等。它的语法与jQuery几乎完全相同，对于使用过jQuery的人来说很熟悉，也很好上手。

引用作者的原话就是：

“The API is as much as possible the similar to jquery.” 。

安装

使用 pip 或者 easy_install 都可以。
注意：由于 pyquery 依赖于 lxml ，要先安装 lxml ，否则会提示失败。

1. 安装lxml：https://pypi.python.org/pypi/lxml/2.3/ (建议直接下载安装包，方便快捷)；


2. 安装pyquery：easy_install pyquery 或者pip install pyquery；


3. 验证：输入 import pyquery 回车不报错即安装成功；

初始化

有 4 种方法可以进行初始化：
可以通过传入 字符串、lxml、文件 或者 url 来使用PyQuery。

from pyquery import PyQuery as pq
from lxml import etree
d = pq("")#传入字符串
d = pq(etree.fromstring(""))#传入lxml
d = pq(url=‘http://google.com/‘) #传入url
d = pq(filename=path_to_html_file) #传入文件


现在，d 就像 jQuery 中的 $ 一样了。

示例

通过一个简单的例子快速熟悉 pyquery 的用法，传入文件 example.html，内容如下：

<div>
<tr class="item-0">
<td>first sectiontd>
<td>1111td>
<td>17-01-28 22:51td>
tr>
<tr class="item-1">
<td>second sectiontd>
<td>2222td>
<td>17-01-28 22:53td>
tr>
div>


python 程序：

# -*- coding: utf-8 -*-
from pyquery import PyQuery as pq#引入 PyQuery
doc = pq(filename=‘example.html‘)# 传入文件 example.html
print doc.html() # html()方法获取当前选中的 html 块
print doc(‘.item-1‘) # 相当于 class 选择器，选取 class 为 item-1 的 html 块
data = doc(‘tr‘) # 选取 元素
for tr in data.items():# 遍历 data 中的 元素
temp = tr(‘td‘).eq(2).text() # 选取第3个 元素中的文本块
print temp


运行结果：

# print doc.html()
<tr class="item-0">
<td>first sectiontd>
<td>1111td>
<td>17-01-28 22:51td>
tr>
<tr class="item-1">
<td>second sectiontd>
<td>2222td>
<td>17-01-28 22:53td>
tr>
# print doc(‘.item-1‘)
<tr class="item-1">
<td>second sectiontd>
<td>2222td>
<td>17-01-28 22:53td>
tr>
# print tr(‘td‘).eq(2).text()
17-01-28 22:51
# print tr(‘td‘).eq(2).text()
17-01-28 22:53


操作

1、.html() 和.text()：获取相应的 HTML 块或者文本内容，

p=pq("")
print p(‘head‘).html()# 获取相应的 HTML 块
print p(‘head‘).text()# 获取相应的文本内容
‘‘‘输出：

Hello World!
‘‘‘


2、.(‘selector‘)：通过选择器来获取目标内容，

d = pq("