Python爬虫之（四）urllib库的高级用法

伪装自己

有些网站不会同意程序直接用上面的方式进行访问&＃xff0c;如果识别有问题&＃xff0c;那么站点根本不会响应&＃xff0c;所以为了完全模拟浏览器的工作

• 设置请求头
  其中User-Agent代表用的哪个请求的浏览器

from urllib.request import urlopen
from urllib.request import Requesturl &＃61; &＃39;http://www.server.com/login&＃39;
user_agent &＃61; &＃39;Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)&＃39;
headers &＃61; { &＃39;User-Agent&＃39; : user_agent } request &＃61; Request(url, headers&＃61;headers)
response &＃61; urlopen(request)
page &＃61; response.read()


对付防盗链&＃xff0c;服务器会识别headers中的referer是不是它自己&＃xff0c;如果不是&＃xff0c;有的服务器不会响应&＃xff0c;所以我们还可以在headers中加入referer

headers &＃61; { &＃39;User-Agent&＃39; : &＃39;Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)&＃39;,&＃39;Referer&＃39;:&＃39;http://www.zhihu.com/articles&＃39; }


在此可以使用多个User_Agent:然后随即选择

import urllib.request
import random
ua_list &＃61; ["Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)","Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1","Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1","Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; QIHU 360EE)"
]
user_agent &＃61; random.choice(ua_list)
request &＃61; urllib.request.Request("http://www.baidu.com")
request.add_header("User-Agent",user_agent)
#区分大小写
print(request.get_header("User-agent"))


对于随机UserAgent,PYthon有提供一个模块库fake-useragent,安装如下&＃xff1a;

pip3 install fake-useragent


• 设置代理Proxy

假如一个网站它会检测某一段时间某个IP 的访问次数&＃xff0c;如果访问次数过多&＃xff0c;它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作&＃xff0c;每隔一段时间换一个代理&＃xff0c;网站君都不知道是谁在捣鬼了&＃xff0c;这酸爽&＃xff01;
免费代理ip&＃xff08;测试的时候可以使用&＃xff09;
分类&＃xff1a;
透明代理&＃xff1a;目标网站知道你使用了代理并且知道你的源IP地址&＃xff0c;这种代理显然不符合我们这里使用代理的初衷

匿名代理&＃xff1a;匿名程度比较低&＃xff0c;也就是网站知道你使用了代理&＃xff0c;但是并不知道你的源IP地址

高匿代理&＃xff1a;这是最保险的方式&＃xff0c;目标网站既不知道你使用的代理更不知道你的源IP

代码如下&＃xff1a;

from urllib.request import Request
from urllib.request import build_opener
from urllib.request import ProxyHandlerurl &＃61; "http://www.baidu.com/"
headers &＃61; {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
}request &＃61; Request(url, headers&＃61;headers)
handler &＃61; ProxyHandler({"http": "221.226.194.21:9999"})
opener &＃61; build_opener(handler)
response &＃61; opener.open(request)print(response.read().decode())


使用DebugLog

可以通过下面的方法把 Debug Log 打开&＃xff0c;这样收发包的内容就会在屏幕上打印出来&＃xff0c;方便调试&＃xff0c;这个也不太常用&＃xff0c;仅提一下

from urllib.request import HTTPHandler
from urllib.request import build_opener
from urllib.request import Requesthandler &＃61; HTTPHandler(debuglevel&＃61;1)
opener &＃61; build_opener(handler)
url &＃61; "http://www.sohu.com"
request &＃61; Request(url)
response &＃61; opener.open(request)