PHP实现抓取百度搜索结果，并分析数据结构

推荐：《PHP视频教程》

PHP网络爬虫实践：抓取百度搜索结果，并分析数据结构

百度的搜索引擎有反爬虫机制，我先直接用guzzle试试水。代码如下：

 true]);
$ql = $client->request(&＃39;GET&＃39;, &＃39;https://www.baidu.com&＃39;, [
    &＃39;COOKIEs&＃39; => $jar
]);
if($ql->getStatusCode()!=200){
    echo &＃39;网站状态不正常&＃39;;die;
}
echo  $ql->getBody();

百度直接拦截了，进了跳转页面，我试试加个浏览器头文件，再试试。

修改后的header如下：

$ql = $client->request(&＃39;GET&＃39;, &＃39;https://www.baidu.com&＃39;, [
    &＃39;COOKIEs&＃39; => $jar,
    &＃39;headers&＃39; => [
    &＃39;Accept-Encoding&＃39; => &＃39;gzip, deflate, br&＃39;,
    &＃39;Accept&＃39;     => &＃39;text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8&＃39;,
    &＃39;Accept-Language&＃39;      => &＃39;zh-CN,zh;q=0.9,en;q=0.8&＃39;,
    &＃39;Cache-Control&＃39;      => &＃39;no-cache&＃39;,
    &＃39;Connection&＃39;      => &＃39;keep-alive&＃39;,
    &＃39;User-Agent&＃39;      => &＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36&＃39;,
]
]);

我测试了下，网站打开了。

我们继续，输入关键词，并搜索,结果发现被安全拦截了，所以我感觉直接用GuzzleHttp搞不动，于是我继续我的神器：jaeger/querylist和jaeger/querylist-puppeteer。

安装步骤：

1.安装依赖

在这之前，要先启用php的proc_open函数，否则无法安装完整

composer install jaeger/querylist
composer install jaeger/querylist-puppeteer

2.安装nodejs

yum install nodejs

3.安装npm

4.安装@nesk/puphpeteer

npm install @nesk/puphpeteer

5.PHP启用proc_open

代码如下：

use(Chrome::class);
 $ql->chrome(function ($page,$browser) {
    $page->goto(&＃39;https://www.baidu.com&＃39;);
    // 这里故意设置一个很长的延长时间，让你可以看到chrome浏览器的启动
    sleep(3);
    //输入关键词
    $wd = &＃39;简庆旺博客&＃39;;
    $page->type("input[id=&＃39;kw&＃39;]",$wd);
    sleep(1);
    //点击搜索
    $page->click("input[type=&＃39;submit&＃39;]");
    //等待搜索结果
    sleep(3);
    //获取结果
    $html = $page->content();
    //用jquery选择器抽取结果
    $rules = array(
        &＃39;title&＃39;=>[&＃39;#content_left h3 a&＃39;,&＃39;text&＃39;],//标题
        &＃39;url&＃39;=>[&＃39;#content_left h3 a&＃39;,&＃39;href&＃39;],//跳转网址
        &＃39;description&＃39;=>[&＃39;div .c-abstract&＃39;,&＃39;text&＃39;],//描述
    );
    $ql = QueryList::html($html);
    $rt = $ql->rules($rules)->query()->getData();
    //如果有需要，可以把$rt入库，以及做其他操作
    sleep(10);
    $browser->close();
    // 返回值一定要是页面的HTML内容
    return $html;
},[
    &＃39;headless&＃39; => false, // 启动可视化Chrome浏览器,方便调试
    &＃39;devtools&＃39; => false, // 打开浏览器的开发者工具
])->find(&＃39;title&＃39;)->text();

$rt是我的结果集合，打印下，如下

以上就是PHP实现抓取百度搜索结果，并分析数据结构的详细内容，更多请关注 第一PHP社区 其它相关文章！