public function snatch() { set_time_limit(0); $this->benchmark->mark('code_start'); /*获取不同类别的二手车新闻*/ for($i=1;$i<=4;$i++) { $url = 'http://news.2sche.cn/list.asp?stype='.$i; $result = $this->curl_snatch($url); preg_match_all('/\d\/(.*?)<\/strong>/', $result, $page_news); //print_r($page_news); //echo '
'; /*获取单个类别下所有分页页面的新闻列表*/ for($j=1;$j<=$page_news[1];$j++) { if(1 == $j) { $url_news = 'http://news.2sche.cn/list.asp?stype='.$i; } else { $url_news = 'http://news.2sche.cn/list.asp?page='.$j.'&stype='.$i; } $result_news = $this->curl_snatch($url_news); preg_match_all('/.*?<\/a><\/td>/sim', $result_news, $url_newslist); //print_r($url_newslist); /*遍历列表页每个url*/ foreach($url_newslist[1] as $url_newslists) { $url_newsinfo = 'http://news.2sche.cn/'.$url_newslists; $result_newsinfo = $this->curl_snatch($url_newsinfo); /*获取标题*/ preg_match_all('/ (.*?)<\/strong><\/h3>/sim', $result_newsinfo, $title); //print_r($title[1]); /*获取来源*/ preg_match_all('/
【来源:(.*?) 】<\/span><\/td>/sim', $result_newsinfo, $source); //print_r($source[1]); /*获取内容*/ preg_match_all('/ (.*?)<\/td>/sim', $result_newsinfo, $content); //print_r($content[1][0]); /*获取内容里的所有图片url*/ //preg_match_all('//sim', $content[1][0], $img); preg_match_all('/ /sim', $content[1][0], $img); //echo 'ddddd'; //print_r($img[1]); //echo 'dddd
'; //exit; $picture = ''; foreach($img[1] as $imgs) { //echo $imgs; //echo '
'; if(strpos($imgs, 'http://') === false) { continue; } $img_source = file_get_contents($imgs); /*获取单个图片的名称*/ $img_names = trim(strrchr($imgs,'/'), '/'); //print_r($img_name); //echo $img_names; //exit; $picture .= $img_names.':'; file_put_contents("./static/uploads/news/".$img_names, $img_source); //图片路径替换 $img_path = '/static/uploads/news/'.$img_names; $content[1][0] = str_replace($imgs, $img_path, $content[1][0]); } //print_r($picture) ; //echo 'hhhh
'; //print_r($content[1][0]); //echo '
'; $data = array( 'title' => $title[1][0], 'source' => $source[1][0], 'contents' => trim($content[1][0]), 'picture' => $picture, 'style' => $i, 'create_time' => time(), ); if(!$this->News_model->add($data)) { continue; } //print_r($data);exit; } echo '
'; } } $this->benchmark->mark('code_end'); echo $this->benchmark->elapsed_time('code_start', 'code_end'); } function curl_snatch($url='http://www.2sche.cn/buy.asp') { $url = trim($url); $cOntent= ''; if (extension_loaded('curl')) { $ch = curl_init(); // 2. 设置选项,包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($ch, CURLOPT_HEADER, 0); // 3. 执行并获取HTML文档内容 $output = curl_exec($ch); $cOntent= iconv("GBK", "UTF-8", $output); if ($output === FALSE) { echo "cURL Error: " . curl_error($ch); } //$info = curl_getinfo($ch); //echo '获取'. $info['url'] . '耗时'. $info['total_time'] . '秒'; // 4. 释放curl句柄 curl_close($ch); } else { $cOntent= file_get_contents($url); } return trim($content); }
作者:李佳顺
写下你的评论吧 !推荐阅读
本文介绍了如何通过配置路由的 meta 字段,确保 Vue 2 项目中的导航栏在页面刷新或内部按钮跳转时,始终保持正确的 active 样式。具体实现方法包括设置路由的 meta 属性,并在 HTML 模板中动态绑定类名。 ... [详细]蜡笔小新 2024-12-28 13:45:20 本文探讨了如何通过最小生成树(MST)来计算严格次小生成树。在处理过程中,需特别注意所有边权重相等的情况,以避免错误。我们首先构建最小生成树,然后枚举每条非树边,检查其是否能形成更优的次小生成树。 ... [详细]蜡笔小新 2024-12-28 13:42:43 一位程序员的妻子在网上分享了她丈夫在北京工作八年的经历,月薪仅3万元,存款情况却出乎意料。本文探讨了高学历人才在大城市的职场现状及生活压力。 ... [详细]蜡笔小新 2024-12-28 11:14:15 尽管商业智能(BI)工具在中国的普及程度尚不及国际市场,但近年来,随着本土企业的持续创新和市场推广,国内主流BI工具正逐渐崭露头角。面对国际品牌如Tableau的强大竞争,国内BI工具通过不断优化产品和技术,赢得了越来越多用户的认可。 ... [详细]蜡笔小新 2024-12-28 11:12:44 本文详细分析了JSP(JavaServer Pages)技术的主要优点和缺点,帮助开发者更好地理解其适用场景及潜在挑战。JSP作为一种服务器端技术,广泛应用于Web开发中。 ... [详细]蜡笔小新 2024-12-28 11:00:33 本教程将深入探讨QBlog开源博客系统的Page_Load生命周期,并介绍一种简洁的参数传递重构方法。通过视频演示和详细讲解,帮助开发者更好地理解和应用这些技术。 ... [详细]蜡笔小新 2024-12-28 10:39:53 本文介绍如何使用 Oracle 存储函数查询特定员工的年收入。我们将详细解释存储函数的创建过程,并提供完整的代码示例。 ... [详细]蜡笔小新 2024-12-28 09:49:42 本文详细介绍如何从官方渠道下载并安装PyCharm集成开发环境(IDE),涵盖Windows、macOS和Linux系统,同时提供详细的安装步骤及配置建议。 ... [详细]蜡笔小新 2024-12-28 09:42:41 在 Windows 10 中,F1 至 F12 键默认设置为快捷功能键。本文将介绍几种有效方法来禁用这些快捷键,并恢复其标准功能键的作用。请注意,部分笔记本电脑的快捷键可能无法完全关闭。 ... [详细]蜡笔小新 2024-12-28 09:13:44 本文总结了2018年的关键成就,包括职业变动、购车、考取驾照等重要事件,并分享了读书、工作、家庭和朋友方面的感悟。同时,展望2019年,制定了健康、软实力提升和技术学习的具体目标。 ... [详细]蜡笔小新 2024-12-28 09:10:26 在计算机技术的学习道路上,51CTO学院以其专业性和专注度给我留下了深刻印象。从2012年接触计算机到2014年开始系统学习网络技术和安全领域,51CTO学院始终是我信赖的学习平台。 ... [详细]蜡笔小新 2024-12-28 08:20:07 本周信息安全小组主要进行了CTF竞赛相关技能的学习,包括HTML和CSS的基础知识、逆向工程的初步探索以及整数溢出漏洞的学习。此外,还掌握了Linux命令行操作及互联网工作原理的基本概念。 ... [详细]蜡笔小新 2024-12-28 05:52:22 本文探讨了如何从动态网站中提取站点密钥,特别是针对验证码(reCAPTCHA)的处理方法。通过结合Selenium和requests库,提供了详细的代码示例和优化建议。 ... [详细]蜡笔小新 2024-12-28 04:11:47 本文介绍了如何使用 CSS 实现液态的三栏布局,其中各栏具有不同的宽度设置。通过调整容器和内容区域的属性,可以实现灵活且响应式的网页设计。 ... [详细]蜡笔小新 2024-12-28 02:40:28 投资改变生活-青岛_688这个家伙很懒,什么也没留下!Tags | 热门标签RankList | 热门文章
- 1RedHat 企业版5下系统故障恢复
- 2MySQL · 捉虫动态 · ALTER IGNORE TABLE导致主备不一致
- 3tp5入口文件入到根目录,虚拟空间伪静态写法
- 4神州数码CIO沈旸:元宇宙是开放的数字世界
- 5Linux Shell基础脚本执行方式和Bash基本功能
- 6[leetCode][001] Maximum Product Subarray
- 7新品发布 | Cloudpods 3.8.7 版本上线
- 8php mysql切分_MySQL 垂直切分(读书笔记整理)
- 9【owt native client】桌面共享流
- 10hdu2871 Memory Control区间操作(待解决)
- 11内外边距对行内元素块级元素的影响
- 12Java线上兼职家教_基于ssh/bs/java/asp.net/php/web的兼职家教网站
- 13wampserver设置管理员密码之类
- 14linux动态替换内核函数,Linux内核中动态替换系统调用函数
- 15c语言校园网自动登录发什么短信,校园网C语言6种排序算法及其实现..doc
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有