pythonetree.html_pythonlxml中etree的简单应用

我一般都是通过xpath解析DOM树的时候会使用lxml的etree&＃xff0c;可以很方便的从html源码中得到自己想要的内容。

这里主要介绍一下我常用到的两个方法&＃xff0c;分别是etree.HTML()和etree.tostrint()。

1.etree.HTML()

etree.HTML()可以用来解析字符串格式的HTML文档对象&＃xff0c;将传进去的字符串转变成_Element对象。作为_Element对象&＃xff0c;可以方便的使用getparent()、remove()、xpath()等方法。

如果想通过xpath获取html源码中的内容&＃xff0c;就要先将html源码转换成_Element对象&＃xff0c;然后再使用xpath()方法进行解析。例如&＃xff0c;这里有一段最简单的html源码&＃xff1a;"

# encoding&＃61;utf8

from lxml import etree

html &＃61; &＃39;

# 将html转换成_Element对象

_element &＃61; etree.HTML(html)

# 通过xpath表达式获取h1标签中的文本

text &＃61; _element.xpath(&＃39;//h1/text()&＃39;)

print &＃39;result is: &＃39;, text

结果&＃xff1a;

result is: [&＃39;This is a test&＃39;]

通过结果可以知道&＃xff0c;xpath()方法放回的结果是一个列表&＃xff0c;所以通常在取xpath()方法结果的时候&＃xff0c;只取列表中的第一个元素。

2.etree.tostring()

etree.tostring()方法用来将_Element对象转换成字符串。一般通过简单的xpath表达式无法得到想要的内容的时候我就会用该方法。例如&＃xff0c;将上面的html小改动一下&＃xff1a;"

通过截图左下角的提示可以知道&＃xff0c;使用xpath表达式“//h1/text()”只能得到h1标签中文本的“This”和“test”&＃xff0c;用代码实现看看&＃xff1a;

# encoding&＃61;utf8

from lxml import etree

html &＃61; &＃39;

_element &＃61; etree.HTML(html)

text &＃61; _element.xpath(&＃39;//h1/text()&＃39;)

print &＃39;result is: &＃39;, text

运行结果&＃xff1a;

result is: [&＃39;This &＃39;, &＃39;test&＃39;]

确实&＃xff0c;使用xpath()方法&＃xff0c;只能得到h1中部分文本内容&＃xff0c;我们再试试使用“//h1//text()”看看&＃xff1a;

然后通过代码实现看看&＃xff1a;

# encoding&＃61;utf8

from lxml import etree

html &＃61; &＃39;

_element &＃61; etree.HTML(html)

text &＃61; _element.xpath(&＃39;//h1//text()&＃39;)

print &＃39;result is: &＃39;, text

运行结果&＃xff1a;

result is: [&＃39;This &＃39;, &＃39;is a &＃39;, &＃39;test&＃39;]

通过“//h1//text()”表达式确实可以得到想要的内容&＃xff0c;但是得到的是一个列表&＃xff0c;还需要将列表中的所有元素“拼”起来才行&＃xff0c;是不是有点麻烦。这时候&＃xff0c;就可以考虑使用etree.tostring()方法了&＃xff0c;etree.tostring()方法可以传递多个参数&＃xff0c;包括element_or_tree、encoding、method等&＃xff0c;其中method参数为text的时候&＃xff0c;表示返回_Element对象中的所有文本&＃xff0c;所以可以这样&＃xff1a;

# encoding&＃61;utf8

from lxml import etree

html &＃61; &＃39;

_element &＃61; etree.HTML(html)

# 先找到h1对象&＃xff0c;然后通过etree.tostring方法找到h1对象中的所有文本

_h &＃61; _element.xpath(&＃39;//h1&＃39;)

# 注意&＃xff0c;xpath方法返回的是一个列表&＃xff0c;我们需要的是列表中的第一个元素&＃xff1a;代表h1标签的_Element对象

result &＃61; etree.tostring(_h[0], method&＃61;&＃39;text&＃39;)

print &＃39;result is: &＃39;, result

运行结果&＃xff1a;

result is: This is a test

这时候使用etree.tostring()方法是不是很容易的就解决问题了。

以上就是本文的全部内容&＃xff0c;希望对大家的学习有所帮助&＃xff0c;也希望大家多多支持脚本之家。