python中xpath解析原理是什么

这篇文章给大家分享的是有关python中xpath解析原理是什么的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索

XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择

xpath解析原理:

• 实现标签的定位：实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。

• 调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。

环境的安装

pip install lxml

lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高

如何实例化一个etree对象

1.将本地的html文档中的源码数据加载到etree对象中:

etree. parse(filePath)#你的文件路径

2.可以将从互联网上获取的源码数据加载到该对象中

etree.HtML(&＃39;page_ text&＃39;)#page_ text互联网中响应的数据

xpath 表达式

对上面表达式的实例详解

这是一个HTML的文档

	
	
	

		
百里守约
	

	
		
李清照
		
王安石
		
苏轼
		
柳宗元
		
			this is span
		宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱
		总为浮云能蔽日,长安不见使人愁
		
	

	
		

			
清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村
			
秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山
			
岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君
			
杜甫
			
杜牧
			
杜小月
			
度蜜月
			
凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘
		
	

从浏览器中打开是这样的

为了方便直观，我们对写个HTML文件进行本地读取进行测试

子节点和子孙节点的定位 / 和 //

先来看子节点和子孙节点，我们从上往下找p这个节点，可以看到p的父节点是body，body父节点是html

定位到这个HTML的p对象中，看上面html源码，可以知道有三个p对象

我们通过三种不同的方法来输出这个节点的信息，可以看到输出的是三个一样的Element，也就是这三种方法实现的功能是一样的。

import requestsfrom lxml import etree
tree = etree.parse(&＃39;test.html&＃39;)r1=tree.xpath(&＃39;/html/body/p&＃39;)	#直接从上往下挨着找节点r2=tree.xpath(&＃39;/html//p&＃39;)#跳跃了一个节点来找到这个p节点的对象r3=tree.xpath(&＃39;//p&＃39;)##跳跃上面所有节点来寻找p节点的对象r1,r2,r3>>([,
  ,
  ],
  
 [,
  ,
  ],
  
 [,
  ,
  ])

属性定位

如果我只想要p里面song这一个标签，就可以对其属性定位

当然返回的还是一个element

r4=tree.xpath(&＃39;//p[@class="song"]&＃39;)r4>>>[]

索引定位

如果我只想获得song里面的苏轼的这个标签
我们找到了song，/p可以返回里面的所有标签，

tree.xpath(&＃39;//p[@class="song"]/p&＃39;)>>[,
 ,
 ,
 ]

这个单独返回的苏轼的p标签，要注意的是这里的索引不是从0开始的，而是1

tree.xpath(&＃39;//p[@class="song"]/p[3]&＃39;)[]

取文本

比如我想取杜牧这个文本内容

和上面一样，我们要定位到杜牧的这个a标签，首先要找到他的上一级 li ，这是第五个 li 里面的a所以就有了下面的写法，text()是把element转化为文本，当然上面的在后面加个text（）都可以展示文本内容。

tree.xpath(&＃39;//p[@class="tang"]//li[5]/a/text()&＃39;)>>[&＃39;杜牧&＃39;]

可以看到这个返回的是一个列表，如果我们想取里面的字符串，可以这样

tree.xpath(&＃39;//p[@class="tang"]//li[5]/a/text()&＃39;)[0]杜牧

看一个更直接的，//li 直接定位到 li这个标签，//text（）直接将这个标签下的文本提取出来。但要注意，这样会把所有的li标签下面的文本提取出来，有时候你并不想要的文本也会提取出来，所以最好还是写详细一点，如具体到哪个p里的li。

tree.xpath(&＃39;//li//text()&＃39;)[&＃39;清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村&＃39;,
 &＃39;秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山&＃39;,
 &＃39;岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君&＃39;,
 &＃39;杜甫&＃39;,
 &＃39;杜牧&＃39;,
 &＃39;杜小月&＃39;,
 &＃39;度蜜月&＃39;,
 &＃39;凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘&＃39;]

取属性

比如我想取下面这个属性

可以直接用@取属性

tree.xpath(&＃39;//p[@class="song"]/img/@src&＃39;)[&＃39;http://www.baidu.com/meinv.jpg&＃39;]

或者如果我想取所有的href这个属性，可以看到tang和song的所有href属性

tree.xpath(&＃39;//@href&＃39;)[&＃39;http://www.song.com/&＃39;,
 &＃39;&＃39;,
 &＃39;http://www.baidu.com&＃39;,
 &＃39;http://www.163.com&＃39;,
 &＃39;http://www.126.com&＃39;,
 &＃39;http://www.sina.com&＃39;,
 &＃39;http://www.dudu.com&＃39;,
 &＃39;http://www.haha.com&＃39;]

爬虫实战之58同城房源信息

#导入必要的库import requestsfrom lxml import etree#URL就是网址，headers看图一url=&＃39;https://sh.58.com/ershoufang/&＃39;headers={&＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.7 Safari/537.36&＃39;}#对网站发起请求page_test=requests.get(url=url,headers=headers).text# 这里是将从互联网上获取的源码数据加载到该对象中tree=etree.HTML(page_test)#先看图二的解释，这里li有多个，所里返回的li_list是一个列表li_list=tree.xpath(&＃39;//ul[@class="house-list-wrap"]/li&＃39;)#这里我们打开一个58.txt文件来保存我们的信息fp=open(&＃39;58.txt&＃39;,&＃39;w&＃39;,encoding=&＃39;utf-8&＃39;)#li遍历li_listfor li in li_list:
	#这里 ./是对前面li的继承，相当于li/p...
    title=li.xpath(&＃39;./p[2]/h3/a/text()&＃39;)[0]
    print(title+&＃39;\n&＃39;)
    #把文件写入文件
    fp.write(title+&＃39;\n&＃39;)fp.close()

图一：

图二：.
这里我们要提取所有的房源信息，可以看到每个小节点的上一个节点都是一样的，我们要提取的是h3节点a里的房源信息，看图三

这里每个 /li 节点里面的子节点都是一样的，所以我们可以先找到所有的li节点，再往下找我们想要的信息

感谢各位的阅读！关于“python中xpath解析原理是什么”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！