使用代理ip防止爬虫被封ip(附蘑菇代理开发过程)

在我们使用爬虫的过程中&＃xff0c;很容易遇到反爬机制是禁用ip的&＃xff0c;可以使用代理ip解决ip被封的问题。但是网上ip代理有很多家&＃xff0c;到底选哪家好呢&＃xff1f;可以看看这篇文章&＃xff1a;https://cuiqingcai.com/5094.html。

本文选择蘑菇代理(官网地址http://www.moguproxy.com)进行演示&＃xff0c;使用php语言&＃xff0c;如果需要大规模抓取可以去试试python。

可以看到官网提供两种方式进行代理&＃xff0c;一种是ip代理&＃xff0c;一种是隧道代理。ip代理就是把ip和端口号给你&＃xff0c;你拿去用&＃xff0c;一般有效期是三分钟&＃xff1b;隧道代理就是你把网址提交到给代理服务商&＃xff0c;代理服务商使用自己的代理ip帮你访问这个网站&＃xff0c;然后把信息返回给你。

1、第一种方式

首先代理提供商会提供给你一个ip接口&＃xff0c;你可以通过这个接口去获取ip和端口号。但是这些ip的时效是三分钟&＃xff0c;所以我建立了一个ip池&＃xff0c;每两分钟去更新一次ip池&＃xff0c;以确保这些ip每次用到的时候都是有效的&＃xff08;当然官网说ip可用率是>95%&＃xff09;。下面给出代码&＃xff1a;

$ch &＃61; curl_init();
curl_setopt($ch, CURLOPT_URL, $link);//要访问的url
curl_setopt ($ch, CURLOPT_PROXY, $ip);//使用代理访问 $ip是 ip:port 格式
curl_setopt($ch,CURLOPT_USERAGENT,&＃39;Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/3.0.0.13&＃39;);//有的网站需要ua&＃xff0c;设置一下
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);//https网站取消ssl验证
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);//允许30*跳转
curl_setopt($ch, CURLOPT_TIMEOUT,30);//设置超时时间
$response &＃61; curl_exec($ch);
if ($response &＃61;&＃61;&＃61; false) {$error_info &＃61; curl_error($ch);curl_close($ch);//关闭curlreturn false;
} else {curl_close($ch);//关闭curlvar_dump($response);
}

2、第二种方式

查看蘑菇代理接入文档php代码

替换appkey之后&＃xff0c;发现根本不行&＃xff0c;一直提示权限不足。后来检查代码才发现 “$appKey &＃61; &＃39;Basic &＃39;&＃43; &＃39;XXXXXXXX&＃39;;”的问题&＃xff0c;php中拼接字符串应该用“.”&＃xff0c;而不是“&＃43;”,这里用加号$appKey的值变成0了&＃xff0c;我问客服这段代码谁写的&＃xff0c;他居然和我说是用户提供的&＃xff0c;笑哭了。改了代码之后发现不能实现301重定向&＃xff0c;不能抓取https的网址。果断改写成curl的。下面是代码&＃xff1a;

$appKey &＃61; &＃39;Basic &＃39;. &＃39;Q2R1cmNFbEc1VWU5eGVKYTpqcUZmNU&＃39;;//这里appkey在蘑菇代理控制台找到$ch &＃61; curl_init();
curl_setopt($ch, CURLOPT_URL, $link);//要访问的url
curl_setopt ($ch, CURLOPT_PROXY, &＃39;transfer.mogumiao.com:9001&＃39;);//使用代理访问
curl_setopt($ch,CURLOPT_USERAGENT,&＃39;Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.1.0.13&＃39;);
curl_setopt ($ch, CURLOPT_HTTPHEADER, ["Proxy-Authorization: {$appKey}"]);//设置代理权限
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);//https网站取消ssl验证
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);//允许30*跳转
curl_setopt($ch, CURLOPT_TIMEOUT,30);//设置超时时间
$response &＃61; curl_exec($ch);
if ($response &＃61;&＃61;&＃61; false) {$error_info &＃61; curl_error($ch);curl_close($ch);//关闭curlreturn false;
} else {curl_close($ch);//关闭curlvar_dump($response);
}

用了一周蘑菇代理&＃xff0c;实测ip可用率只有81%&＃xff0c;与官网说的大于95%还是有差别的。