书目参考&＃xff1a;精通Python网络爬虫和Python3网络爬虫实战。
这里只给出正确的代码。
首先&＃xff0c;代理服务器ip的网址是&＃xff1a;http://www.xicidaili.com/。这里面有大量的失效IP地址。
其次&＃xff0c; http://httpbin.org/get或者https开通的网址可以对是否设置成功进行验证。
实际代码如下&＃xff1a;
# -*- coding: utf-8 -*-
"""
Created on Wed Jul 11 15:54:09 2018&＃64;author: a
"""#设置正确的代理服务器
from urllib.error import URLError
def use_proxy(proxy_addr,url):import urllib.request#proxy&＃61;urllib.request.ProxyHandler({"http":"http://"&＃43;proxy_addr,"https":"https://"&＃43;proxy_addr})proxy&＃61;urllib.request.ProxyHandler({"http":"http://"&＃43;proxy_addr})headers&＃61;("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5193.400 QQBrowser/10.0.1066.400")
opener&＃61;urllib.request.build_opener(proxy)opener.addheaders&＃61;[headers]#print (opener.open(url).getheaders())#print (opener.open(url).info()) try:response&＃61;opener.open(url)data&＃61;response.read().decode(&＃39;utf-8&＃39;)print(data) except URLError as e:print("出现异常")print(e.reason)return data
#获取本机ip地址
import socket
hostname &＃61; socket.gethostname()
ip &＃61; socket.gethostbyname(hostname)
print ("本机电脑名&＃xff1a;",hostname)
print ("本机Ip&＃xff1a;",ip)
proxy_addr&＃61;"101.236.35.98:8866"
data&＃61;use_proxy(proxy_addr,"http://httpbin.org/get")
#print (data)
print (len(data))
#也可以opener&＃61;urllib.request.build_opener(proxy&＃xff0c;urllib.request.HTTPHandler)
#也可以注册opener。
urllib.request.install_opener(opener)
response&＃61;urllib.request.urlopen(url)
为了确定是否使用的是代理服务器的ip地址&＃xff0c;可以将目标url设为: http://httpbin.org/get因为该服务器的response会专门返回客户端使用的ip地址。可以看到&＃xff1a;
runfile(&＃39;G:/精通python网络爬虫/6 代理服务器设置_2.py&＃39;, wdir&＃61;&＃39;G:/精通python网络爬虫&＃39;)
本机电脑名&＃xff1a; DESKTOP-090FKDS
本机Ip&＃xff1a; 192.168.8.100
{"args":{},"headers":{"Accept-Encoding":"identity","Cache-Control":"max-age&＃61;259200","Connection":"close","Host":"httpbin.org","User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5193.400 QQBrowser/10.0.1066.400"},"origin":"101.236.35.98","url":"http://httpbin.org/get"}
352
几个错误
第一个错误
Python3网络爬虫实战书中的错误是&＃xff1a;设置Proxyhandler的时候使用的是&＃xff1a;
#proxy&＃61;urllib.request.ProxyHandler({"http":"http://"&＃43;proxy_addr,"https":"https://"&＃43;proxy_addr})
即将http和https都设置了。但是这样总是会出现各种问题。
其中&＃xff0c;http://www.xicidaili.com/对于各种类型的代理IP是有严格分类的。如果访问http的网址&＃xff0c;就用国内http代理IP即可。
第二个错误
写代码的时候没有注意&＃xff0c;反复open(url)就会导致报错。
print (opener.open(url).getheaders())
print (opener.open(url).info())
data&＃61;opener.open(url).read().decode(&＃39;utf-8&＃39;)
print(data)
return data
第三个错误
如果设置的代理是http类型的&＃xff0c;访问的是https的网址。这个时候&＃xff0c;代理是不起任何作用的。比如&＃xff0c;有效的http代理服务器ip是&＃xff1a;102.236.35.98:8866。这个时候&＃xff0c;你随便改动IP&＃xff0c;使用下面的代码&＃xff0c;都能正常跑通。
def use_proxy(proxy_addr,url):import urllib.requestproxy&＃61;urllib.request.ProxyHandler({"http":"http://"&＃43;proxy_addr})print (proxy_addr)headers&＃61;("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5193.400 QQBrowser/10.0.1066.400")opener&＃61;urllib.request.build_opener(proxy)opener.addheaders&＃61;[headers] data&＃61;opener.open(url).read().decode(&＃39;utf-8&＃39;)print (data)return data
#获取本机ip地址
import socket
hostname &＃61; socket.gethostname()
ip &＃61; socket.gethostbyname(hostname)
print ("本机电脑名&＃xff1a;",hostname)
print ("本机Ip&＃xff1a;",ip)
#proxy_addr&＃61;"101.236.35.98:8866"
proxy_addr&＃61;"104.236.35.98:8866"#随便改动ip地址。
data&＃61;use_proxy(proxy_addr,"https://www.baidu.com")
#print (data)
print (len(data))
为了验证一下ip地址没有起到任何作用。我们修改url为&＃xff1a;https://httpbin.org/get
因为这个url的response是客户端的ip地址&＃xff0c;可以看到结果如下&＃xff1a;
可以看到本机的ip是192.168.8.100&＃xff0c;设置的代理服务器的ip是
104.236.35.98:8866&＃xff0c;而服务器端记录的客户端的ip地址是&＃xff1a;117.61.138.21&＃xff0e;
你继续改动代理服务器的ip地址&＃xff1a;可以看到&＃xff0c;服务器端记录的客户端ip地址仍然是&＃xff1a;117.61.138.21
为什么117.61.138.21和我的本机ip不一样呢。
这是因为我的电脑连接的是wifi热点。所以服务器实际记录的客户端ip地址就不是我的电脑显示的。
京公网安备 11010802041100号