网站信息采集系列(五)百度新闻

本文实现在百度新闻搜索栏中自动输入关键字搜索&＃xff08;以“军事”为例&＃xff09;&＃xff0c;并自动采集搜索的内容&＃xff0c;采集内容包含新闻标题&＃xff0c;链接&＃xff0c;来源&＃xff0c;时间&＃xff0c;摘要&＃xff0c;并显示在表中&＃xff0c;并将效果如下图所示&＃xff1a;

1.网页分析

关键字搜索框及点击按钮

直接使用ID来确定&＃xff0c;比较方便。

搜索到的内容&＃xff1a;

里面的内容比较多&＃xff0c;需要找下&＃xff0c;下面直接贴代码。

2.主要代码

输入关键字并点击搜索按钮

var input_element &＃61; document.getElementById(&＃39;ww&＃39;);

input_element.value &＃61; &＃39;mykeyword&＃39;;

input_element &＃61; document.getElementById(&＃39;s_btn_wr&＃39;);

input_element.click();

获取页面指定内容

var contentElement &＃61; document.getElementById(&＃39;content_left&＃39;);

if (contentElement){

    var newsElements &＃61; contentElement.getElementsByClassName(&＃39;result-op&＃39;);

    if (newsElements && newsElements.length > 0){

        for (var i &＃61; 0;i

            //标题和链接

            var title &＃61; &＃39;&＃39;,link &＃61; &＃39;&＃39;;

            var titleElements &＃61; newsElements[i].querySelectorAll(&＃39;h3 a&＃39;);

            if (titleElements && titleElements.length > 0){

                link &＃61; titleElements[0].getAttribute(&＃39;href&＃39;);

                title &＃61; titleElements[0].innerText;

            }

            //来源&＃xff0c;时间

            var time &＃61; &＃39;&＃39;,source &＃61; &＃39;&＃39;;

            var tsElements &＃61; newsElements[i].querySelectorAll(&＃39;.c-row .c-span-last .news-source_Xj4Dv  span&＃39;);

            if (tsElements && tsElements.length > 1){

                source &＃61; tsElements[0].innerText;

                time   &＃61; tsElements[1].innerText;

            }

            //摘要

            var abstract &＃61; &＃39;&＃39;;

            var absElements &＃61; newsElements[i].querySelectorAll(&＃39;.c-row .c-span-last > span&＃39;);

            if (absElements && absElements.length > 0)

                abstract &＃61; absElements[0].innerText;

        }

        /*点击下一页*/

        var nextAElements &＃61; document.querySelectorAll(&＃39;#page .page-inner a&＃39;);

        if (nextAElements){

            nextAElements[nextAElements.length - 1].click();

        }

    }

}

3 翻页控制

点击下一页时&＃xff0c;网页会释放窗口&＃xff0c;然后再创建新窗口&＃xff0c;因此翻页控制不能在当前窗口中进行&＃xff0c;必须由主程序控制&＃xff08;我这里是QT&＃xff09;&＃xff0c;具体是在网页导入完成后再确定是否翻页&＃xff0c;代码如下&＃xff1a;

    if (_urlStr.contains("baidu.com/s") && _urlStr.contains("tn&＃61;news")){

        int _curPage &＃61; 0;

        //如果没有key&＃61;pn的值&＃xff0c;表示是第一页

        if (_urlQuery.hasQueryItem("pn"))

            _curPage &＃61; _urlQuery.queryItemValue("pn").toInt() / 10;

        else

            _curPage &＃61; this->currentPage &＃61; 0;

        //只有当前翻页次数与this->currentPage相等时才能获取信息

        //baidu_news-2.js里面会点击一次下一页

        if (_curPage &＃61;&＃61; this->currentPage){

            //小于用户设置的翻页次数

            if (this->currentPage <&＃61;mypages){

                jscode &＃61; *获取网页的内容代码*l

                webView->page()->runJavascript(jscode,[&](const QVariant&){});

                this->currentPage &＃61; _curPage &＃43; 1;

            }

        }

    }