PHP应用curl对ajax型的网页数据进行抓取

PHP使用curl对ajax型的网页数据进行抓取
好久没写技术博客了&＃xff0c;今天兴起写上一篇。
最近安排新来的同事写爬虫抓站&＃xff0c;咨询我如何对ajax型的网页数据进行抓取。比如http://www.chewen.com这个站点&＃xff0c;“更多新问题”就是发送的ajax请求。
其实抓ajax的页面和抓普通的页面区别不大。ajax只不过是做了一次异步的http请求&＃xff0c;只要使用firebug类似的工具&＃xff0c;找到请求的后端服务url和传值的参数&＃xff0c;然后对该url传递参数进行抓取即可。利用firebug的网络工具&＃xff0c;如图所示&＃xff1a;



下面代码就是以车问网站为例&＃xff0c;通过curl发送POST请求&＃xff0c;获取一页的数据。&＃xff08;其实该url的数据可以直接通过GET获取&＃xff09;

$opt &＃61; "http://www.chewen.com/proc/ajax/getHomeNewQuestion_ajax.jsp";
$post &＃61; "lastqid&＃61;50934&pgno&＃61;1&pagenum&＃61;20";
$curl &＃61; curl_init();
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_POST, 1);
curl_setopt($curl, CURLOPT_POSTFIELDS, $post);
curl_setopt($curl, CURLOPT_URL, $opt);
$rs &＃61; curl_exec($curl);
$rs &＃61; json_decode($rs);
var_dump($rs);
?>

每次只需要更改参数pgno就相当于更改了分页的页码&＃xff0c;然后再经行处理就与抓普通的列表页无异了。