热门标签 | HotTags
当前位置:  开发笔记 > 前端 > 正文

用CI框架抓取文章标题、内容、来源图片代码

这是一个抓取页面的代码,做一个备份,方便以后调用,看了看代码还可以,所以转过来分享给朋友们。有意见的后面登录留言
这是一个抓取页面的代码,做一个备份,方便以后调用,看了看代码还可以,所以转过来分享给朋友们。有意见的后面登录留言
public function snatch()
  {
       set_time_limit(0);
       $this->benchmark->mark('code_start');
       /*获取不同类别的二手车新闻*/
       for($i=1;$i<=4;$i++)
       {
        $url = 'http://news.2sche.cn/list.asp?stype='.$i;
        $result = $this->curl_snatch($url);

        preg_match_all('/\d\/(.*?)<\/strong>/', $result, $page_news);
        //print_r($page_news);
        //echo '
'; /*获取单个类别下所有分页页面的新闻列表*/ for($j=1;$j<=$page_news[1];$j++) { if(1 == $j) { $url_news = 'http://news.2sche.cn/list.asp?stype='.$i; } else { $url_news = 'http://news.2sche.cn/list.asp?page='.$j.'&stype='.$i; } $result_news = $this->curl_snatch($url_news); preg_match_all('/.*?<\/a><\/td>/sim', $result_news, $url_newslist); //print_r($url_newslist); /*遍历列表页每个url*/ foreach($url_newslist[1] as $url_newslists) { $url_newsinfo = 'http://news.2sche.cn/'.$url_newslists; $result_newsinfo = $this->curl_snatch($url_newsinfo); /*获取标题*/ preg_match_all('/

(.*?)<\/strong><\/h3>/sim', $result_newsinfo, $title); //print_r($title[1]); /*获取来源*/ preg_match_all('/【来源:(.*?) 】<\/span><\/td>/sim', $result_newsinfo, $source); //print_r($source[1]); /*获取内容*/ preg_match_all('/(.*?)<\/td>/sim', $result_newsinfo, $content); //print_r($content[1][0]); /*获取内容里的所有图片url*/ //preg_match_all('//sim', $content[1][0], $img); preg_match_all('//sim', $content[1][0], $img); //echo 'ddddd'; //print_r($img[1]); //echo 'dddd
'; //exit; $picture = ''; foreach($img[1] as $imgs) { //echo $imgs; //echo '
'; if(strpos($imgs, 'http://') === false) { continue; } $img_source = file_get_contents($imgs); /*获取单个图片的名称*/ $img_names = trim(strrchr($imgs,'/'), '/'); //print_r($img_name); //echo $img_names; //exit; $picture .= $img_names.':'; file_put_contents("./static/uploads/news/".$img_names, $img_source); //图片路径替换 $img_path = '/static/uploads/news/'.$img_names; $content[1][0] = str_replace($imgs, $img_path, $content[1][0]); } //print_r($picture) ; //echo 'hhhh
'; //print_r($content[1][0]); //echo '
'; $data = array( 'title' => $title[1][0], 'source' => $source[1][0], 'contents' => trim($content[1][0]), 'picture' => $picture, 'style' => $i, 'create_time' => time(), ); if(!$this->News_model->add($data)) { continue; } //print_r($data);exit; } echo '
'; } } $this->benchmark->mark('code_end'); echo $this->benchmark->elapsed_time('code_start', 'code_end'); } function curl_snatch($url='http://www.2sche.cn/buy.asp') { $url = trim($url); $cOntent= ''; if (extension_loaded('curl')) { $ch = curl_init(); // 2. 设置选项,包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($ch, CURLOPT_HEADER, 0); // 3. 执行并获取HTML文档内容 $output = curl_exec($ch); $cOntent= iconv("GBK", "UTF-8", $output); if ($output === FALSE) { echo "cURL Error: " . curl_error($ch); } //$info = curl_getinfo($ch); //echo '获取'. $info['url'] . '耗时'. $info['total_time'] . '秒'; // 4. 释放curl句柄 curl_close($ch); } else { $cOntent= file_get_contents($url); } return trim($content); }


作者:李佳顺


推荐阅读
  • 国内BI工具迎战国际巨头Tableau,稳步崛起
    尽管商业智能(BI)工具在中国的普及程度尚不及国际市场,但近年来,随着本土企业的持续创新和市场推广,国内主流BI工具正逐渐崭露头角。面对国际品牌如Tableau的强大竞争,国内BI工具通过不断优化产品和技术,赢得了越来越多用户的认可。 ... [详细]
  • 本文详细分析了JSP(JavaServer Pages)技术的主要优点和缺点,帮助开发者更好地理解其适用场景及潜在挑战。JSP作为一种服务器端技术,广泛应用于Web开发中。 ... [详细]
  • 技术分享:从动态网站提取站点密钥的解决方案
    本文探讨了如何从动态网站中提取站点密钥,特别是针对验证码(reCAPTCHA)的处理方法。通过结合Selenium和requests库,提供了详细的代码示例和优化建议。 ... [详细]
  • CSS 布局:液态三栏混合宽度布局
    本文介绍了如何使用 CSS 实现液态的三栏布局,其中各栏具有不同的宽度设置。通过调整容器和内容区域的属性,可以实现灵活且响应式的网页设计。 ... [详细]
  • 本文探讨了如何像程序员一样思考,强调了将复杂问题分解为更小模块的重要性,并讨论了如何通过妥善管理和复用已有代码来提高编程效率。 ... [详细]
  • 本文详细介绍了如何解决Uploadify插件在Internet Explorer(IE)9和10版本中遇到的点击失效及JQuery运行时错误问题。通过修改相关JavaScript代码,确保上传功能在不同浏览器环境中的一致性和稳定性。 ... [详细]
  • 本文介绍了如何利用JavaScript或jQuery来判断网页中的文本框是否处于焦点状态,以及如何检测鼠标是否悬停在指定的HTML元素上。 ... [详细]
  • python的交互模式怎么输出名文汉字[python常见问题]
    在命令行模式下敲命令python,就看到类似如下的一堆文本输出,然后就进入到Python交互模式,它的提示符是>>>,此时我们可以使用print() ... [详细]
  • 火星商店问题:线段树分治与持久化Trie树的应用
    本题涉及编号为1至n的火星商店,每个商店有一个永久商品价值v。操作包括每天在指定商店增加一个新商品,以及查询某段时间内某些商店中所有商品(含永久商品)与给定密码值的最大异或结果。通过线段树分治和持久化Trie树来高效解决此问题。 ... [详细]
  • Java 中的 BigDecimal pow()方法,示例 ... [详细]
  • Linux 系统启动故障排除指南:MBR 和 GRUB 问题
    本文详细介绍了 Linux 系统启动过程中常见的 MBR 扇区和 GRUB 引导程序故障及其解决方案,涵盖从备份、模拟故障到恢复的具体步骤。 ... [详细]
  • 本文总结了汇编语言中第五至第八章的关键知识点,涵盖间接寻址、指令格式、安全编程空间、逻辑运算指令及数据重复定义等内容。通过详细解析这些内容,帮助读者更好地理解和应用汇编语言的高级特性。 ... [详细]
  • 探讨如何高效使用FastJSON进行JSON数据解析,特别是从复杂嵌套结构中提取特定字段值的方法。 ... [详细]
  • 本文介绍了如何使用jQuery根据元素的类型(如复选框)和标签名(如段落)来获取DOM对象。这有助于更高效地操作网页中的特定元素。 ... [详细]
  • 导航栏样式练习:项目实例解析
    本文详细介绍了如何创建一个具有动态效果的导航栏,包括HTML、CSS和JavaScript代码的实现,并附有详细的说明和效果图。 ... [详细]
author-avatar
投资改变生活-青岛_688
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有