热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

phpcurl无法正常抓取内容

123456789101112131415161718192021222324252627282930313233343536373839function echo_var_dump($obj){ 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
function echo_var_dump($obj){

    echo "
";

    echo var_dump($obj);

    echo "
";  

}



function GetCurl($url) {



    //curl 伪造useragent

    $useragent = array(

        'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)',

        'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)',

        'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)',

        'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',

        'Opera/9.27 (Windows NT 5.2; U; zh-cn)',

        'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',

        'Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13 ',

        'Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1 Safari/525.13'

    );



    $curl = curl_init();

    curl_setopt($curl, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_0);

    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

    curl_setopt($curl, CURLOPT_URL, $url);    



    // 设置iP和useragent

    curl_setopt($curl, CURLOPT_REFERER, "http://h5.eqxiu.com/s/Rwg9jFlv");

    curl_setopt($curl, CURLOPT_USERAGENT, array_rand($useragent));



    $resp = curl_exec($curl);

    curl_close($curl);

    return $resp;

}



$url = "http://s1.eqxiu.com/eqs/page/119805007?code=Rwg9jFlv&time=1523150497000";

$page_data = GetCurl($url);

$page_arr = json_decode($page_data, true);



echo_var_dump($page_arr);

我已经设置REFERER了,但依然获取的内容不对,访问如下第一个链接就可以正常获取第二个链接的json内容,而我的程序获取到的提示“数据不合法”。



http://h5.eqxiu.com/s/Rwg9jFlv
http://s1.eqxiu.com/eqs/page/...


   



推荐阅读
author-avatar
哥小名叫青蛙
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有