PHP中怎样实现文章采集

　　数据采集，大部分是用正则表达式，我简单地介绍下如何实现采集的思路.这里说的是php的实现.一般是本机运行，放到空间上是不明智的，因为不但很耗资源还需要支持远程抓取函数，比如file_get_contents($urls)file($url)等.

　　1，文章列表页面的自动切换，以及文章路径的获得.

　　2，获得：标题，内容

　　3，入库

　　4，问题

　　1，文章列表页面的自动切换，以及文章路径的获得.

　　a，列表页面的自动切换一般依赖动态页面来实现.比如

　　http://www.phpfirst.com/foru ... d=1&page=$i

　　可以在后面利用$i的自动增加或范围来实现，比如$i++;

　　也可以像penzi演示的那个一样，要从第几页到第几页，代码方面控制$i的范围就可以.

　　b，文章路径的获得分需要填正则和无需填正则2种：

　　1)无需填正则就是获得上面的文章列表页面的所有连接

　　但是最好对连接进行过滤，处理---判断重复连接，只留一个，处理相对路径，变成绝对路径.比如../ 和./等.

　　以下是我写的乱七八糟的实现函数：

　　PHP:

　　--------------------------------------------------------------------------------

　　

　　//$e=clinchgeturl("http://phpfirst.com/forumdisplay.php?fid=1");

　　//var_dump($e);

　　function clinchgeturl($url)

　　{

　　//$url="http://127.0.0.1/1.htm";

　　//$rootpath="http://fsrootpathfsfsf/yyyyyy/";

　　//var_dump($rrr);

　　if(eregi('(.)*[\.](.)*',$url)){

　　$roopath=split("\/",$url);

　　$rootpath="http://".$roopath[2]."/";

　　$nnn=count($roopath)-1;for($yu=3;$yu<$nnn;$yu++){$rootpath.=$roopath[$yu]."/";}

　　// var_dump($rootpath); //http: ,'',127.0.0.1,xnml,index.php

　　}

　　else{$rootpath=$url; //var_dump($rootpath);

　　}

　　if(isset($url)){

　　echo "$url 有下列裢接：
";

　　$fcOntents= file($url);

　　while(list(,$line)=each($fcontents)){

　　while(eregi('(href[[:space:]]*=[[:space:]]*"?[[:alnum:]:@/._-]+[\?]?[^\"]*"?)',$line,$regs)){

　　//$regs[1] = eregi_replace('(href[[:space:]]*=[[:space:]]*\"?)([[:alnum:]:@/._-]+)(\"?)',"\\2",$regs[1]);

　　$regs[1] = eregi_replace('(href[[:space:]]*=[[:space:]]*[\"]?)([[:alnum:]:@/._-]+[\?]?[^\"]*)(\.*)[^\"\/]*([\"]?)',"\\2",$regs[1]);

　　if(!eregi('^http:\/\/',$regs[1])){

　　if(eregi('^\.\.',$regs[1])){

　　// $roopath=eregi_replace('(http:\/\/)?([[:alnum:]:@/._-]+)[[:alnum:]+](\.*)[[:alnum:]+]',"http:\/\/\\2",$url);

　　$roopath=split("\/",$rootpath);

　　$rootpath="http://".$roopath[2]."/";

　　//echo "这是根本d ："."\n";

　　$nnn=count($roopath)-1;for($yu=3;$yu<$nnn;$yu++){$rootpath.=$roopath[$yu]."/";}

　　//var_dump($rootpath);

　　if(eregi('^\.\.[\/[:alnum:]]',$regs[1])){

　　//echo "这是../目录/ ："."\n";

　　//$regs[1]="../xx/xxxxxx.xx";

　　// $rr=split("\/",$regs[1]);

　　//for($oooi=1;$oooi

　　$rrr=$regs[1];

　　// {$rrr.="/".$rr[$oooi];

　　$rrr = eregi_replace("^[\.][\.][\/]",'',$rrr); //}

　　$regs[1]=$rootpath.$rrr;

　　}

　　}else{

　　if(eregi('^[[:alnum:]]',$regs[1])){ $regs[1]=$rootpath.$regs[1]; }

　　else{ $regs[1] = eregi_replace("^[\/]",'',$regs[1]); $regs[1]=$rootpath.$regs[1]; }

　　}

　　}

　　$line = $regs[2];

　　if(eregi('(.)*[\.](htm|shtm|html|asp|aspx|php|jsp|cgi)(.)*',$regs[1])){

　　$out[0][]=$regs[1]; }

　　}

　　}

　　}for ($ouou=0;$ouou

　　{

　　if($out[0][$ouou]==$out[0][$ouou+1]){

　　$sameurlsum=1;

　　//echo "sameurlsum=1:";

　　for($sameurl=1;$sameurl

　　if($out[0][$ouou+$sameurl]==$out[0][$ouou+$sameurl+1]){$sameurlsum++;}

　　else{break;}

　　}

　　for($p=$ouou;$p

　　{ $out[0][$p]=$out[0][$p+$sameurlsum];}

　　}

　　}

　　$i=0;

　　while($out[0][++$i]) {

　　//echo $root.$out[0][$i]."\r\n";

　　$outed[0][$i]=$out[0][$i];

　　}

　　unset($out);

　　$out=$outed; return $out;

　　}

　　?>

　　上面的东西只能zend，不然有碍市容：(

　　得到所有唯一的连接后，放到数组

　　2)需要填正则的处理

　　如果要准确地获得需要的文章连接，就用这个办法

　　按照ketle的思路

　　用

　　PHP:

　　--------------------------------------------------------------------------------

　　function cut($file,$from,$end){

　　$message=explode($from,$file);

　　$message=explode($end,$message[1]);

　　return $message[0];

　　}

　　$from是列表前面的html代码

　　$end是列表后面的html代码

　　以上可以通过表单提交参数.

　　对列表页面不是列表的部分去除，剩下的是需要的连接，

　　只要再通过下面正则得到：

　　PHP:

　　--------------------------------------------------------------------------------

　　preg_match("/^(http:\/\/)?(.*)/i",

　　$url, $matches);

　　return $matches[2];

　　2，获得：标题，内容

　　a首先，利用得到的文章路径，读取目标路径

　　可以通过以下函数：

　　PHP:

　　--------------------------------------------------------------------------------

　　function getcontent($url) {

　　if($handle = fopen ($url, "rb")){

　　$cOntents= "";

　　do {

　　$data = fread($handle, 2048);

　　if (strlen($data) == 0) {

　　break;

　　}

　　$contents .= $data;

　　} while(true);

　　fclose ($handle);

　　}

　　else

　　exit("........");

　　return $contents;

　　}

　　或者直接

　　PHP:

　　--------------------------------------------------------------------------------

　　file_get_contents($urls);

　　后者比较方便，但是缺点对比上面的就知道.

　　b,接下来得到标题：

　　一般用这个实现：

　　PHP:

　　--------------------------------------------------------------------------------

　　preg_match("||",$allcontent,$title);

　　里面的部分通过提交表单得到.

　　也可以通过一系列的cut函数

　　比如上面提过的function cut($file,$from,$end)，具体的字符串切割可以通过字符处理函数切割实现，后面"取得内容"详细讲.

　　c,取得内容

　　取得内容方面和取得标题思路一样但情况比较复杂，因为内容附近不会是这么简单.

　　1)内容附近的特征字符串有双引号,空格,换行符号等是大障碍

　　双引号需要变成　\" 　可以通过addslashes()处理

　　换行符号要去掉　可以通过

　　PHP:

　　--------------------------------------------------------------------------------

　　$a=ereg_replace("\n", '', $a);

　　$a=ereg_replace("\r", '', $a);

　　去掉.

　　2)思路2，利用一大堆切割相关的函数对内容提取，需要大量的实践，调试，我正在弄这里，没有获得什么突破～～～～～～～～

　　3，入库

　　a,切保你的数据库可以插入

　　比如我的可以这样直接插入：

　　PHP:

　　--------------------------------------------------------------------------------

　　$sql="INSERT INTO $articles VALUES ('', '$title', '', '$article','', '', 'clinch', 'from', '关键词', 1, '$栏目id', '$time', 1);\r\n\r\n";

　　其中

　　PHP:

　　--------------------------------------------------------------------------------

　　('',

　　是自动升序的文章id，要确定升序的字段只有一个，比如pa是标题一个表，一个索引，内容一个表一个索引，两表的自动升序的字段要实时判断的，要插入比较麻烦，被认为"不可插".

　　b,sql文本导出

　　我的思路是：

　　在函数里return

　　PHP:

　　--------------------------------------------------------------------------------

　　"INSERT INTO article_articles VALUES ('', '$title', '', '$body','', '', 'clinch', 'sohu', 'php', 1, '#clinchall#', '$time', 1);\r\n\r\n";

　　然后不断积累查询语句内容，最后

　　PHP:

　　--------------------------------------------------------------------------------

　　$fname="what_"."_page".$i.".sql";

　　$fp = fopen("data/$f", 'w');

　　if(fputs($fp, $sql))

　　echo "file successfully write";

　　fclose($fp);

　　根据小新的思路，非常不错

　　PHP:

　　--------------------------------------------------------------------------------

　　if(!empty($r_article) AND !empty($r_title))

　　{

　　$time=time();

　　$r_title=addslashes(trim($r_title));

　　$r_article=addslashes($r_article);

　　$get_sql="INSERT INTO article_articles VALUES ('', '$r_title', '', '$r_article','', '', '', 'sohu', '', 1, '', '$time', 1);\r\n\r\n";

　　if(file_exists("xingfu_".$_SESSION['p'].".sql"))

　　{

　　if(filesize("xingfu_".$_SESSION['p'].".sql")>$mysize)

　　{

　　$_SESSION['p']++;

　　}

　　}

　　$fp=fopen("xingfu_".$_SESSION['p'].".sql",'a');

　　fwrite($fp,$get_sql);

　　fclose($fp);

　　先判断是否得到标题和内容，然后生成sql语句放到文本中，还可以判断大小分页生成.

　　c.直接入库(入mysql)

　　找个db_mysql类后

　　直接

　　PHP: [Copy to clipboard]

　　--------------------------------------------------------------------------------

　　$DB->query("INSERT INTO `xxx` ( `xx` , `title` , `texts` , `sortid` ) VALUES ('', '".addslashes($title)."', '".addslashes($text)."', '".$mm."')");

　　4，问题

　　a,其实采集大多需要具体问题具体分析，想做通用的很难.

　　换句话说，要做到让不懂正则的人随便采集，那可需要高手的后台实现.

　　b,最大问题是内容切割部分，因为html代码具体情况很复杂，需要调试多次.希望有人做出个类来.

　　c，当切不到时处理不好会中断，注意容错.用SESSION控制可以避免很多麻烦.当　timeout的时候，刷新下就ok了.延长脚本运行时间可以@set_time_limit(0)

　　数据采集，大部分是用正则表达式，我简单地介绍下如何实现采集的思路.这里说的是php的实现.一般是本机运行，放到空间上是不明智的，因为不但很耗资源还需要支持远程抓取函数，比如file_get_contents($urls)file($url)等.

　　1，文章列表页面的自动切换，以及文章路径的获得.

　　2，获得：标题，内容

　　3，入库

　　4，问题

　　1，文章列表页面的自动切换，以及文章路径的获得.

　　a，列表页面的自动切换一般依赖动态页面来实现.比如

　　http://www.phpfirst.com/foru ... d=1&page=$i

　　可以在后面利用$i的自动增加或范围来实现，比如$i++;

　　也可以像penzi演示的那个一样，要从第几页到第几页，代码方面控制$i的范围就可以.

　　b，文章路径的获得分需要填正则和无需填正则2种：

　　1)无需填正则就是获得上面的文章列表页面的所有连接

　　但是最好对连接进行过滤，处理---判断重复连接，只留一个，处理相对路径，变成绝对路径.比如../ 和./等.

　　以下是我写的乱七八糟的实现函数：

　　PHP:

　　--------------------------------------------------------------------------------

　　

　　//$e=clinchgeturl("http://phpfirst.com/forumdisplay.php?fid=1");

　　//var_dump($e);

　　function clinchgeturl($url)

　　{

　　//$url="http://127.0.0.1/1.htm";

　　//$rootpath="http://fsrootpathfsfsf/yyyyyy/";

　　//var_dump($rrr);

　　if(eregi('(.)*[\.](.)*',$url)){

　　$roopath=split("\/",$url);

　　$rootpath="http://".$roopath[2]."/";

　　$nnn=count($roopath)-1;for($yu=3;$yu<$nnn;$yu++){$rootpath.=$roopath[$yu]."/";}

　　// var_dump($rootpath); //http: ,'',127.0.0.1,xnml,index.php

　　}

　　else{$rootpath=$url; //var_dump($rootpath);

　　}

　　if(isset($url)){

　　echo "$url 有下列裢接：
";

　　$fcOntents= file($url);

　　while(list(,$line)=each($fcontents)){

　　while(eregi('(href[[:space:]]*=[[:space:]]*"?[[:alnum:]:@/._-]+[\?]?[^\"]*"?)',$line,$regs)){

　　//$regs[1] = eregi_replace('(href[[:space:]]*=[[:space:]]*\"?)([[:alnum:]:@/._-]+)(\"?)',"\\2",$regs[1]);

　　$regs[1] = eregi_replace('(href[[:space:]]*=[[:space:]]*[\"]?)([[:alnum:]:@/._-]+[\?]?[^\"]*)(\.*)[^\"\/]*([\"]?)',"\\2",$regs[1]);

　　if(!eregi('^http:\/\/',$regs[1])){

　　if(eregi('^\.\.',$regs[1])){

　　// $roopath=eregi_replace('(http:\/\/)?([[:alnum:]:@/._-]+)[[:alnum:]+](\.*)[[:alnum:]+]',"http:\/\/\\2",$url);

　　$roopath=split("\/",$rootpath);

　　$rootpath="http://".$roopath[2]."/";

　　//echo "这是根本d ："."\n";

　　$nnn=count($roopath)-1;for($yu=3;$yu<$nnn;$yu++){$rootpath.=$roopath[$yu]."/";}

　　//var_dump($rootpath);

　　if(eregi('^\.\.[\/[:alnum:]]',$regs[1])){

　　//echo "这是../目录/ ："."\n";

　　//$regs[1]="../xx/xxxxxx.xx";

　　// $rr=split("\/",$regs[1]);

　　//for($oooi=1;$oooi

　　$rrr=$regs[1];

　　// {$rrr.="/".$rr[$oooi];

　　$rrr = eregi_replace("^[\.][\.][\/]",'',$rrr); //}

　　$regs[1]=$rootpath.$rrr;

　　}

　　}else{

　　if(eregi('^[[:alnum:]]',$regs[1])){ $regs[1]=$rootpath.$regs[1]; }

　　else{ $regs[1] = eregi_replace("^[\/]",'',$regs[1]); $regs[1]=$rootpath.$regs[1]; }

　　}

　　}

　　$line = $regs[2];

　　if(eregi('(.)*[\.](htm|shtm|html|asp|aspx|php|jsp|cgi)(.)*',$regs[1])){

　　$out[0][]=$regs[1]; }

　　}

　　}

　　}for ($ouou=0;$ouou

　　{

　　if($out[0][$ouou]==$out[0][$ouou+1]){

　　$sameurlsum=1;

　　//echo "sameurlsum=1:";

　　for($sameurl=1;$sameurl

　　if($out[0][$ouou+$sameurl]==$out[0][$ouou+$sameurl+1]){$sameurlsum++;}

　　else{break;}

　　}

　　for($p=$ouou;$p

　　{ $out[0][$p]=$out[0][$p+$sameurlsum];}

　　}

　　}

　　$i=0;

　　while($out[0][++$i]) {

　　//echo $root.$out[0][$i]."\r\n";

　　$outed[0][$i]=$out[0][$i];

　　}

　　unset($out);

　　$out=$outed; return $out;

　　}

　　?>

　　上面的东西只能zend，不然有碍市容：(

　　得到所有唯一的连接后，放到数组

　　2)需要填正则的处理

　　如果要准确地获得需要的文章连接，就用这个办法

　　按照ketle的思路

　　用

　　PHP:

　　--------------------------------------------------------------------------------

　　function cut($file,$from,$end){

　　$message=explode($from,$file);

　　$message=explode($end,$message[1]);

　　return $message[0];

　　}

　　$from是列表前面的html代码

　　$end是列表后面的html代码

　　以上可以通过表单提交参数.

　　对列表页面不是列表的部分去除，剩下的是需要的连接，

　　只要再通过下面正则得到：

　　PHP:

　　--------------------------------------------------------------------------------

　　preg_match("/^(http:\/\/)?(.*)/i",

　　$url, $matches);

　　return $matches[2];

　　2，获得：标题，内容

　　a首先，利用得到的文章路径，读取目标路径

　　可以通过以下函数：

　　PHP:

　　--------------------------------------------------------------------------------

　　function getcontent($url) {

　　if($handle = fopen ($url, "rb")){

　　$cOntents= "";

　　do {

　　$data = fread($handle, 2048);

　　if (strlen($data) == 0) {

　　break;

　　}

　　$contents .= $data;

　　} while(true);

　　fclose ($handle);

　　}

　　else

　　exit("........");

　　return $contents;

　　}

　　或者直接

　　PHP:

　　--------------------------------------------------------------------------------

　　file_get_contents($urls);

　　后者比较方便，但是缺点对比上面的就知道.

　　b,接下来得到标题：

　　一般用这个实现：

　　PHP:

　　--------------------------------------------------------------------------------

　　preg_match("||",$allcontent,$title);

　　里面的部分通过提交表单得到.

　　也可以通过一系列的cut函数

　　比如上面提过的function cut($file,$from,$end)，具体的字符串切割可以通过字符处理函数切割实现，后面"取得内容"详细讲.

　　c,取得内容

　　取得内容方面和取得标题思路一样但情况比较复杂，因为内容附近不会是这么简单.

　　1)内容附近的特征字符串有双引号,空格,换行符号等是大障碍

　　双引号需要变成　\" 　可以通过addslashes()处理

　　换行符号要去掉　可以通过

　　PHP:

　　--------------------------------------------------------------------------------

　　$a=ereg_replace("\n", '', $a);

　　$a=ereg_replace("\r", '', $a);

　　去掉.

　　2)思路2，利用一大堆切割相关的函数对内容提取，需要大量的实践，调试，我正在弄这里，没有获得什么突破～～～～～～～～

　　3，入库

　　a,切保你的数据库可以插入

　　比如我的可以这样直接插入：

　　PHP:

　　--------------------------------------------------------------------------------

　　$sql="INSERT INTO $articles VALUES ('', '$title', '', '$article','', '', 'clinch', 'from', '关键词', 1, '$栏目id', '$time', 1);\r\n\r\n";

　　其中

　　PHP:

　　--------------------------------------------------------------------------------

　　('',

　　是自动升序的文章id，要确定升序的字段只有一个，比如pa是标题一个表，一个索引，内容一个表一个索引，两表的自动升序的字段要实时判断的，要插入比较麻烦，被认为"不可插".

　　b,sql文本导出

　　我的思路是：

　　在函数里return

　　PHP:

　　--------------------------------------------------------------------------------

　　"INSERT INTO article_articles VALUES ('', '$title', '', '$body','', '', 'clinch', 'sohu', 'php', 1, '#clinchall#', '$time', 1);\r\n\r\n";

　　然后不断积累查询语句内容，最后

　　PHP:

　　--------------------------------------------------------------------------------

　　$fname="what_"."_page".$i.".sql";

　　$fp = fopen("data/$f", 'w');

　　if(fputs($fp, $sql))

　　echo "file successfully write";

　　fclose($fp);

　　根据小新的思路，非常不错

　　PHP:

　　--------------------------------------------------------------------------------

　　if(!empty($r_article) AND !empty($r_title))

　　{

　　$time=time();

　　$r_title=addslashes(trim($r_title));

　　$r_article=addslashes($r_article);

　　$get_sql="INSERT INTO article_articles VALUES ('', '$r_title', '', '$r_article','', '', '', 'sohu', '', 1, '', '$time', 1);\r\n\r\n";

　　if(file_exists("xingfu_".$_SESSION['p'].".sql"))

　　{

　　if(filesize("xingfu_".$_SESSION['p'].".sql")>$mysize)

　　{

　　$_SESSION['p']++;

　　}

　　}

　　$fp=fopen("xingfu_".$_SESSION['p'].".sql",'a');

　　fwrite($fp,$get_sql);

　　fclose($fp);

　　先判断是否得到标题和内容，然后生成sql语句放到文本中，还可以判断大小分页生成.

　　c.直接入库(入mysql)

　　找个db_mysql类后

　　直接

　　PHP: [Copy to clipboard]

　　--------------------------------------------------------------------------------

　　$DB->query("INSERT INTO `xxx` ( `xx` , `title` , `texts` , `sortid` ) VALUES ('', '".addslashes($title)."', '".addslashes($text)."', '".$mm."')");

　　4，问题

　　a,其实采集大多需要具体问题具体分析，想做通用的很难.

　　换句话说，要做到让不懂正则的人随便采集，那可需要高手的后台实现.

　　b,最大问题是内容切割部分，因为html代码具体情况很复杂，需要调试多次.希望有人做出个类来.

　　c，当切不到时处理不好会中断，注意容错.用SESSION控制可以避免很多麻烦.当　timeout的时候，刷新下就ok了.延长脚本运行时间可以@set_time_limit(0)