python数据抓取_使用PythonRequest/lxml进行网页抓取：从ul/li获取数据

我使用要求和LXML与的Python&＃xff0c;我已经看到有很多关于网页抓取不同的模块&＃xff0c;但没有任何理由在选择一个另一个&＃xff1f;你可以使用request/lxml来做同样的事情吗&＃xff1f;例如BeautifulSoup&＃xff1f;

无论如何&＃xff0c;这里是我的实际的问题;

这是我的代码&＃xff1a;

import requests

from lxml import html

# Login data

inputUrl &＃61; &＃39;http://forum.mytestsite.com/login&＃39;

usr &＃61; &＃39;myusername&＃39;

pwd &＃61; &＃39;mypassword&＃39;

payload &＃61; dict(login&＃61;usr, password&＃61;pwd)

# Open session

with requests.Session() as s:

# Login

s.post(inputUrl, data&＃61;payload)

# Get page data

pageResult &＃61; s.get(&＃39;http://forum.mytestsite.com/icons/&＃39;, allow_redirects&＃61;False)

pageResult &＃61; html.fromstring(pageResult.content)

pageIcons &＃61; pageResult.xpath(&＃39;//script[&＃64;id&＃61;"table-icons"]/text()&＃39;)

print pageIcons[0]

结果打印时pageIcons [0]&＃xff1a;

{{#each icons}}

{{/each}}

这是生成的网站/ js代码图标&＃xff1a;

{{#each icons}}

{{/each}}

而这里的页面上的结果&＃xff1a;

我的目标&＃xff1a;

我想要做的是检索所有的li data手柄&＃xff0c;但我一直无法弄清楚如何检索这些数据。所以我的目标是检索所有的图标路径和他们的头衔&＃xff0c;有谁能帮我解决这个问题吗&＃xff1f;我真的很感激任何帮助:)

2017-06-18

Lorena

&＃43;0

&＃39;// script&＃39;不是呈现的HTML的一部分。你为什么试图解析模板代码&＃xff1f; –

&＃43;0

嗯&＃xff0c;因为我是一个noob&＃xff1a;P我是因为脚本的结果给了我实际上想要的ul/li句柄&＃xff0c;所以这样做是合乎逻辑的。我的意思是&＃xff0c;渲染的HTML是从脚本生成的&＃xff0c;对吧&＃xff1f;我还能如何获得链接&＃xff1f; –

&＃43;0

您无法从python请求获取模板代码。另外&＃xff0c;如果它在页面加载后呈现&＃xff0c;那么您会得到一个空列表&＃xff0c;并且无论如何您都不能使用请求。 https://stackoverflow.com/questions/13960567/reading-dynamically-generated-web-pages-using-python –