Python爬虫学习第一天uillib库和request库

1、urllib python 内置的http的请求库
　　urllib.request #请求模块
　　www&＃61;urllib.request.urlopen(url&＃xff0c;data,timeout)
　　www.read().decode(&＃39;utf-8&＃39;)
　　type(www)#响应类型
　　www.status#响应状态吗
　　www.getheaders()#响应头
　　www.getheader(&＃39;Server&＃39;)

　　代理handler
　　handler&＃61;urllib.request.ProxyHandler({&＃39;http&＃39;:&＃39;http://207.246.77.83:2010&＃39;})
　　COOKIE#维持网站登陆状态

　　urllib.error#异常处理模块
　　try
　　　　需要捕获异常的代码
　　except 异常原因 as e:
　　　　操作
　　#print(e.reason)
　　#if isinstance(e.reason,&＃39;TIMEOUT&＃39;)
　　# print(&＃39;连接超时&＃39;)

　　异常类型
　　error.HTTPError
　　error.URLError

　　urllib.parse#解析模块
　　urllib.parse.urlpasrse(url,scheme,allow_fragmengts&＃61;True)#scheme协议类型 allow_fragmengts允许分割6个字段

　　urllib.parse.urlunpasrse()
　　urllib.parse.urljoin()#url拼接
　　urllib.parse.urljoin()
　　urllib.parse.urlencode()#将字典的键值对转化为url
　　urllib.robotparse#解析txt文本

Request python 内置的http库
　　pip3 install requests#安装requests库

　　url &＃61; &＃39;http://www.365cmd.com/forum.php&＃39;
　　re&＃61;request.get(url)
　　type(re)
　　re.status_code
　　re.COOKIEs
　　re.headers
　　re.text



　　arms&＃61;{
　　&＃39;mod&＃39;:&＃39;viewthread&＃39;,
　　&＃39;tid&＃39;:&＃39;14807&＃39;
　　}
re1&＃61;requests.get(url,params&＃61;arms)#利用字典形式传递params参数构造网址http://www.365cmd.com/forum.php?mod&＃61;viewthread&tid&＃61;14807

　　解析json
　　re1.json()

　　获取二进制数据
　　re1.content

　　保存二进制数据
　　with open(&＃39;文件名&＃39;&＃xff0c;&＃39;mode&＃39;) as file
　　file.write(re1.content)
　　file.close()

　　打开windows文件C:\Users\Raytine\Desktop\111\123\1111222.txt

　　f&＃61;open(r&＃39;C:/Users/Raytine/Desktop/111/123/1111222.txt&＃39;,&＃39;r&＃39;)
　　如果文件不在项目目录下&＃xff0c;需写完整的路径&＃xff0c;windows下的\代表转移字符

　　添加header
　　header&＃61;{
　　}
　　re2&＃61;requests.get(url,header&＃61;header)

　　post方法
　　data&＃61;{
　　...
　　}
　　header&＃61;{
　　...
　　}
requests.post(url,data&＃61;data,header)

　　response状态码判断
　　re.status_code
　　200成功
　　404NOT FOUNLD

　　获取COOKIE
　　re.COOKIEs
　　for key, value, in re.COOKIEs.items()
　　string &＃61; &＃39;%s%s%s&＃39; % (key, &＃39; &＃61; &＃39;, value)#字符串格式化
　　print(string)

　　会话维持
　　request.Session().get(url)#模拟在同一个浏览器操作

　　证书验证
　　爬取https网站url&＃61;&＃39;https://www.12306.cn&＃39;
　　request.get(url)
　　若浏览器检测证书不安全&＃xff0c;response报错
　　过滤错误信息以及不检测证书
　　from request.packages import urllib3
　　urllib3.disable_warning()
　　requests.get(url&＃xff0c;verify&＃61;False)

　　requests.get(url&＃xff0c;cert&＃61;&＃39;crt,key&＃39;)

　　代理设置
　　proxies&＃61;{
　　&＃39;http&＃39;:&＃39;http://207.246.77.83:2010&＃39;
　　&＃39;https&＃39;:&＃39;http://user:passwd&＃64;207.246.77.83:2010&＃39;}


　　pip3 install requests[socks]# sock5代理安装
　　proxies&＃61;{
　　&＃39;https&＃39;:&＃39;sock5://207.246.77.83:2010&＃39;
　　&＃39;https&＃39;&＃61;&＃39;https:sock5//user:passwd&＃64;207.246.77.83:2010&＃39;}

　　requests.get(url,proxies&＃61;proxies)

　　超时设置
　　try
　　requests.get(url,timeout&＃61;1)
　　　　except ReadTimeOut
　　print(&＃39;TIMEOUT&＃39;)

　　认证设置

　　from requests.auth import HTTPBasicAuth
　　requests.get(url,auth&＃61;HTTPBasicAuth(&＃39;USER&＃39;:&＃39;PASSWORD&＃39;))
　　requests.get(url,auth&＃61;(&＃39;USER&＃39;:&＃39;PASSWORD&＃39;))

　　异常捕获处理
　　try
　　　　requests.get(url)

　　except ReadTimeOut:
　　　　操作
　　　　print(&＃39;**异常&＃39;)
　　except HTTPError:
　　　　操作
　　　　print(&＃39;**异常&＃39;)
　　except ConnectionError:
　　　　操作
　　　　print(&＃39;**异常&＃39;)
　　except RequestException:
　　　　操作#捕获父类异常
　　　　print(&＃39;异常&＃39;)