public function snatch() { set_time_limit(0); $this->benchmark->mark('code_start'); /*获取不同类别的二手车新闻*/ for($i=1;$i<=4;$i++) { $url = 'http://news.2sche.cn/list.asp?stype='.$i; $result = $this->curl_snatch($url); preg_match_all('/\d\/(.*?)<\/strong>/', $result, $page_news); //print_r($page_news); //echo '
'; /*获取单个类别下所有分页页面的新闻列表*/ for($j=1;$j<=$page_news[1];$j++) { if(1 == $j) { $url_news = 'http://news.2sche.cn/list.asp?stype='.$i; } else { $url_news = 'http://news.2sche.cn/list.asp?page='.$j.'&stype='.$i; } $result_news = $this->curl_snatch($url_news); preg_match_all('/.*?<\/a><\/td>/sim', $result_news, $url_newslist); //print_r($url_newslist); /*遍历列表页每个url*/ foreach($url_newslist[1] as $url_newslists) { $url_newsinfo = 'http://news.2sche.cn/'.$url_newslists; $result_newsinfo = $this->curl_snatch($url_newsinfo); /*获取标题*/ preg_match_all('/ (.*?)<\/strong><\/h3>/sim', $result_newsinfo, $title); //print_r($title[1]); /*获取来源*/ preg_match_all('/
【来源:(.*?) 】<\/span><\/td>/sim', $result_newsinfo, $source); //print_r($source[1]); /*获取内容*/ preg_match_all('/ (.*?)<\/td>/sim', $result_newsinfo, $content); //print_r($content[1][0]); /*获取内容里的所有图片url*/ //preg_match_all('//sim', $content[1][0], $img); preg_match_all('/ /sim', $content[1][0], $img); //echo 'ddddd'; //print_r($img[1]); //echo 'dddd
'; //exit; $picture = ''; foreach($img[1] as $imgs) { //echo $imgs; //echo '
'; if(strpos($imgs, 'http://') === false) { continue; } $img_source = file_get_contents($imgs); /*获取单个图片的名称*/ $img_names = trim(strrchr($imgs,'/'), '/'); //print_r($img_name); //echo $img_names; //exit; $picture .= $img_names.':'; file_put_contents("./static/uploads/news/".$img_names, $img_source); //图片路径替换 $img_path = '/static/uploads/news/'.$img_names; $content[1][0] = str_replace($imgs, $img_path, $content[1][0]); } //print_r($picture) ; //echo 'hhhh
'; //print_r($content[1][0]); //echo '
'; $data = array( 'title' => $title[1][0], 'source' => $source[1][0], 'contents' => trim($content[1][0]), 'picture' => $picture, 'style' => $i, 'create_time' => time(), ); if(!$this->News_model->add($data)) { continue; } //print_r($data);exit; } echo '
'; } } $this->benchmark->mark('code_end'); echo $this->benchmark->elapsed_time('code_start', 'code_end'); } function curl_snatch($url='http://www.2sche.cn/buy.asp') { $url = trim($url); $cOntent= ''; if (extension_loaded('curl')) { $ch = curl_init(); // 2. 设置选项,包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($ch, CURLOPT_HEADER, 0); // 3. 执行并获取HTML文档内容 $output = curl_exec($ch); $cOntent= iconv("GBK", "UTF-8", $output); if ($output === FALSE) { echo "cURL Error: " . curl_error($ch); } //$info = curl_getinfo($ch); //echo '获取'. $info['url'] . '耗时'. $info['total_time'] . '秒'; // 4. 释放curl句柄 curl_close($ch); } else { $cOntent= file_get_contents($url); } return trim($content); }
作者:李佳顺
写下你的评论吧 !推荐阅读
在进行移动应用自动化测试时,有时会遇到某些页面没有返回按钮,只能通过点击空白区域返回的情况。本文将探讨如何在Appium + Java环境中有效解决此类问题,并提供详细的解决方案。 ... [详细]蜡笔小新 2024-12-22 17:30:25 本文详细介绍了JSP的三大指令:page、include和taglib,重点探讨了静态包含与动态包含的区别及其应用场景,并解释了如何使用taglib指令引入第三方标签库。 ... [详细]蜡笔小新 2024-12-22 17:24:51 探索Ulysses Mac v29,这款先进的纯文本编辑器为Mac用户带来了全新的写作和编辑环境。它不仅具备简洁直观的界面,还融合了Markdown等标记语言的最佳特性,支持多种格式导出,并提供强大的组织和同步功能。 ... [详细]蜡笔小新 2024-12-22 14:26:49 小编给大家分享一下实用正则表达式有哪些,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下 ... [详细]蜡笔小新 2024-12-22 13:59:04 主板IO用W83627THG,用VC如何取得CPU温度,系统温度,CPU风扇转速,VBat的电压. ... [详细]蜡笔小新 2024-12-22 13:48:42 本文详细介绍了如何为嵌入式应用开发搭建必要的软硬件环境,并提供了通过串口和网线两种方式将文件传输到开发板的具体步骤。适合Linux开发初学者参考。 ... [详细]蜡笔小新 2024-12-22 13:38:48 本文记录了在安装CPU版本的TensorFlow过程中遇到的依赖问题及解决方案,特别是numpy版本不匹配和动态链接库(DLL)错误。通过详细的步骤说明和专业建议,帮助读者顺利安装并使用TensorFlow。 ... [详细]蜡笔小新 2024-12-22 13:22:19 本文介绍了如何使用JavaScript的Fetch API与Express服务器进行交互,涵盖了GET、POST、PUT和DELETE请求的实现,并展示了如何处理JSON响应。 ... [详细]蜡笔小新 2024-12-22 12:55:37 本文详细介绍了流编辑器sed中的G、H、g、h命令,探讨了它们的工作原理及应用场景。通过实例解析和图解分析,帮助读者掌握这些高级命令的使用方法。 ... [详细]蜡笔小新 2024-12-22 12:24:49 本文探讨了如何在 F# Interactive (FSI) 中通过 AddPrinter 和 AddPrintTransformer 方法自定义类型(尤其是集合类型)的输出格式,提供了详细的指南和示例代码。 ... [详细]蜡笔小新 2024-12-22 12:09:23 本文详细介绍了EasyReport,一个易于使用的开源Web报表工具。该工具支持Hadoop、HBase及多种关系型数据库,能够将SQL查询结果转换为HTML表格,并提供Excel导出、图表显示和表头冻结等功能。 ... [详细]蜡笔小新 2024-12-22 11:11:28 本文详细介绍了Vue.js的基础知识、安装方法、核心概念及实战案例,帮助开发者全面掌握这一流行的前端框架。 ... [详细]蜡笔小新 2024-12-22 11:07:54 对于后端开发者而言,编写和维护API文档既繁琐又不可或缺。本文将介绍一款全新的API文档工具,帮助团队更高效地协作,简化API文档生成流程。 ... [详细]蜡笔小新 2024-12-22 11:02:41 投资改变生活-青岛_688这个家伙很懒,什么也没留下!Tags | 热门标签RankList | 热门文章
- 1Win 10和Win 8 用户使用起来感受最大的几个差异点
- 2第一个用例图
- 3小翻译 for Mac(即时英语翻译软件)中文版
- 4ENOENT:没有这样的文件或目录,lstat'/Users/Desktop/node_modules'
- 52.vue+ts+vuecli3.0+elementUi
- 6Tinymce - 希望内容不可修改但可格式化
- 7如何在浏览器如chrome中审查元素时查看某个元素绑定的Vue方法?
- 8KOFLive Beta DailyScrum 1
- 9转载:16条有用的句子
- 10对github上的bower依赖的徽章
- 11为什么scroll事件阻止不了冒泡?
- 12vue 4.0以上版本创建工程
- 13[BJDCTF 2nd] 燕言燕语y1ng
- 14每个页面都引入jquery文件,怎样可以只引入一个jquery,其他页面也生效?
- 15用html制作QQ彩贝
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有