python获取html的tr,使用lxm获取python中trtbody中的所有td内容

这将从ajax请求中获取json格式的数据&＃xff1a;import requests

headers &＃61; {

&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36&＃39;,

&＃39;Content-Type&＃39;: &＃39;application/json&＃39;,

&＃39;Referer&＃39;: &＃39;http://droughtmonitor.unl.edu/MapsAndData/DataTables.aspx&＃39;,

&＃39;X-Requested-With&＃39;: &＃39;XMLHttpRequest&＃39;,

}

import json

data &＃61; json.dumps({&＃39;area&＃39;:&＃39;conus&＃39;, &＃39;type&＃39;:&＃39;conus&＃39;, &＃39;statstype&＃39;:&＃39;1&＃39;})

ajax &＃61; requests.post("http://droughtmonitor.unl.edu/Ajax.aspx/ReturnTabularDM",

data&＃61;data,

headers&＃61;headers)

from pprint import pprint as pp

pp(ajax.json())

输出片段&＃xff1a;

^{pr2}$

您可以从返回的json中获取所需的所有数据&＃xff0c;如果您print(len(cont.json()["d"]))您将看到返回的853行&＃xff0c;因此您似乎可以一次性从35页中获取所有数据。即使你确实解析了这个页面&＃xff0c;你仍然需要再做34次&＃xff0c;从ajax请求中获取json使得解析变得很容易&＃xff0c;而且都是从一个post中获得的。在

要按状态过滤&＃xff0c;我们需要将type设置为state&＃xff0c;并将{}设置为CA&＃xff1a;data &＃61; json.dumps({&＃39;type&＃39;:&＃39;state&＃39;, &＃39;statstype&＃39;:&＃39;1&＃39;,&＃39;area&＃39;:&＃39;CA&＃39;})

ajax &＃61; requests.post("http://droughtmonitor.unl.edu/Ajax.aspx/ReturnTabularDM",

data&＃61;data,

headers&＃61;headers)

from pprint import pprint as pp

pp(ajax.json())

又是一个简短的片段&＃xff1a;{u&＃39;d&＃39;: [{u&＃39;D0&＃39;: 95.73,

u&＃39;D1&＃39;: 89.68,

u&＃39;D2&＃39;: 74.37,

u&＃39;D3&＃39;: 49.15,

u&＃39;D4&＃39;: 21.04,

u&＃39;Date&＃39;: u&＃39;2016-05-03&＃39;,

u&＃39;FileDate&＃39;: u&＃39;20160503&＃39;,

u&＃39;None&＃39;: 4.27,

u&＃39;ReleaseID&＃39;: 890,

u&＃39;__type&＃39;: u&＃39;DroughtMonitorData.DmData&＃39;},

{u&＃39;D0&＃39;: 95.76,

u&＃39;D1&＃39;: 90.09,

u&＃39;D2&＃39;: 74.37,

u&＃39;D3&＃39;: 49.15,

u&＃39;D4&＃39;: 21.04,

u&＃39;Date&＃39;: u&＃39;2016-04-26&＃39;,

u&＃39;FileDate&＃39;: u&＃39;20160426&＃39;,

u&＃39;None&＃39;: 4.24,

u&＃39;ReleaseID&＃39;: 889,

u&＃39;__type&＃39;: u&＃39;DroughtMonitorData.DmData&＃39;},

您将看到与页面上显示的内容相匹配的内容。在