python实现并发_python实现并发爬虫

在进行单个爬虫抓取的时候&＃xff0c;我们不可能按照一次抓取一个url的方式进行网页抓取&＃xff0c;这样效率低&＃xff0c;也浪费了cpu的资源。目前python上面进行并发抓取的实现方式主要有以下几种&＃xff1a;进程&＃xff0c;线程&＃xff0c;协程。进程不在的讨论范围之内&＃xff0c;一般来说&＃xff0c;进程是用来开启多个spider&＃xff0c;比如我们开启了4进程&＃xff0c;同时派发4个spider进行网络抓取&＃xff0c;每个spider同时抓取4个url。

所以&＃xff0c;我们今天讨论的是&＃xff0c;在单个爬虫的情况下&＃xff0c;尽可能的在同一个时间并发抓取&＃xff0c;并且抓取的效率要高。

一.顺序抓取

顺序抓取是最最常见的抓取方式&＃xff0c;一般初学爬虫的朋友就是利用这种方式&＃xff0c;下面是一个测试代码&＃xff0c;顺序抓取8个url&＃xff0c;我们可以来测试一下抓取完成需要多少时间&＃xff1a;

HEADERS &＃61; {&＃39;Accept&＃39;: &＃39;text/html,application/xhtml&＃43;xml,application/xml;q&＃61;0.9&＃39;,&＃39;Accept-Language&＃39;: &＃39;zh-CN,zh;q&＃61;0.8&＃39;,&＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate&＃39;,}

URLS&＃61; [&＃39;http://www.cnblogs.com/moodlxs/p/3248890.html&＃39;,&＃39;https://www.zhihu.com/topic/19804387/newest&＃39;,&＃39;http://blog.csdn.net/yueguanghaidao/article/details/24281751&＃39;,&＃39;https://my.oschina.net/visualgui823/blog/36987&＃39;,&＃39;http://blog.chinaunix.net/uid-9162199-id-4738168.html&＃39;,&＃39;http://www.tuicool.com/articles/u67Bz26&＃39;,&＃39;http://rfyiamcool.blog.51cto.com/1030776/1538367/&＃39;,&＃39;http://itindex.net/detail/26512-flask-tornado-gevent&＃39;]#url为随机获取的一批url

deffunc():"""顺序抓取"""

importrequestsimporttime

urls&＃61;URLS

headers&＃61;HEADERS

headers[&＃39;user-agent&＃39;] &＃61; "Mozilla/5.0&＃43;(Windows&＃43;NT&＃43;6.2;&＃43;WOW64)&＃43;AppleWebKit/537"\".36&＃43;(KHTML,&＃43;like&＃43;Gecko)&＃43;Chrome/45.0.2454.101&＃43;Safari/537.36"

print(u&＃39;顺序抓取&＃39;)

starttime&＃61;time.time()for url inurls:try:

r&＃61; requests.get(url, allow_redirects&＃61;False, timeout&＃61;2.0, headers&＃61;headers)except:pass

else:print(r.status_code, r.url)

endtime&＃61;time.time()print(endtime-starttime)

func()

我们直接采用内建的time.time()来计时&＃xff0c;较为粗略&＃xff0c;但可以反映大概的情况。下面是顺序抓取的结果计时&＃xff1a;

可以从图片中看到&＃xff0c;显示的顺序与urls的顺序是一模一样的&＃xff0c;总共耗时为7.763269901275635秒&＃xff0c;一共8个url&＃xff0c;平均抓取一个大概需要0.97秒。总体来看&＃xff0c;还可以接受。

二.多线程抓取

线程是python内的一种较为不错的并发方式&＃xff0c;我们也给出相应的代码&＃xff0c;并且为每个url创建了一个线程&＃xff0c;一共8线程并发抓取&＃xff0c;下面的代码&＃xff1a;

下面是我们运行8线程的测试代码&＃xff1a;

HEADERS &＃61; {&＃39;Accept&＃39;: &＃39;text/html,application/xhtml&＃43;xml,application/xml;q&＃61;0.9&＃39;,&＃39;Accept-Language&＃39;: &＃39;zh-CN,zh;q&＃61;0.8&＃39;,&＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate&＃39;,}

URLS&＃61; [&＃39;http://www.cnblogs.com/moodlxs/p/3248890.html&＃39;,&＃39;https://www.zhihu.com/topic/19804387/newest&＃39;,&＃39;http://blog.csdn.net/yueguanghaidao/article/details/24281751&＃39;,&＃39;https://my.oschina.net/visualgui823/blog/36987&＃39;,&＃39;http://blog.chinaunix.net/uid-9162199-id-4738168.html&＃39;,&＃39;http://www.tuicool.com/articles/u67Bz26&＃39;,&＃39;http://rfyiamcool.blog.51cto.com/1030776/1538367/&＃39;,&＃39;http://itindex.net/detail/26512-flask-tornado-gevent&＃39;]defthread():from threading importThreadimportrequestsimporttime

urls&＃61;URLS

headers&＃61;HEADERS

headers[&＃39;user-agent&＃39;] &＃61; "Mozilla/5.0&＃43;(Windows&＃43;NT&＃43;6.2;&＃43;WOW64)&＃43;AppleWebKit/537.36&＃43;"\"(KHTML,&＃43;like&＃43;Gecko)&＃43;Chrome/45.0.2454.101&＃43;Safari/537.36"

defget(url):try:

r&＃61; requests.get(url, allow_redirects&＃61;False, timeout&＃61;2.0, headers&＃61;headers)except:pass

else:print(r.status_code, r.url)print(u&＃39;多线程抓取&＃39;)

ts&＃61; [Thread(target&＃61;get, args&＃61;(url,)) for url inurls]

starttime&＃61;time.time()for t ints:

t.start()for t ints:

t.join()

endtime&＃61;time.time()print(endtime-starttime)

thread()

多线程抓住的时间如下&＃xff1a;

可以看到相较于顺序抓取&＃xff0c;8线程的抓取效率明显上升了3倍多&＃xff0c;全部完成只消耗了2.154秒。可以看到显示的结果已经不是urls的顺序了&＃xff0c;说明每个url各自完成的时间都是不一样的。线程就是在一个进程中不断的切换&＃xff0c;让每个线程各自运行一会&＃xff0c;这对于网络io来说&＃xff0c;性能是非常高的。但是线程之间的切换是挺浪费资源的。

三.gevent并发抓取

gevent是一种轻量级的协程&＃xff0c;可用它来代替线程&＃xff0c;而且&＃xff0c;他是在一个线程中运行&＃xff0c;机器资源的损耗比线程低很多。如果遇到了网络io阻塞&＃xff0c;会马上切换到另一个程序中去运行&＃xff0c;不断的轮询&＃xff0c;来降低抓取的时间

下面是测试代码&＃xff1a;

HEADERS &＃61; {&＃39;Accept&＃39;: &＃39;text/html,application/xhtml&＃43;xml,application/xml;q&＃61;0.9&＃39;,&＃39;Accept-Language&＃39;: &＃39;zh-CN,zh;q&＃61;0.8&＃39;,&＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate&＃39;,}

URLS&＃61; [&＃39;http://www.cnblogs.com/moodlxs/p/3248890.html&＃39;,&＃39;https://www.zhihu.com/topic/19804387/newest&＃39;,&＃39;http://blog.csdn.net/yueguanghaidao/article/details/24281751&＃39;,&＃39;https://my.oschina.net/visualgui823/blog/36987&＃39;,&＃39;http://blog.chinaunix.net/uid-9162199-id-4738168.html&＃39;,&＃39;http://www.tuicool.com/articles/u67Bz26&＃39;,&＃39;http://rfyiamcool.blog.51cto.com/1030776/1538367/&＃39;,&＃39;http://itindex.net/detail/26512-flask-tornado-gevent&＃39;]defmain():"""gevent并发抓取"""

importrequestsimportgeventimporttime

headers&＃61;HEADERS

headers[&＃39;user-agent&＃39;] &＃61; "Mozilla/5.0&＃43;(Windows&＃43;NT&＃43;6.2;&＃43;WOW64)&＃43;AppleWebKit/537.36&＃43;"\"(KHTML,&＃43;like&＃43;Gecko)&＃43;Chrome/45.0.2454.101&＃43;Safari/537.36"urls&＃61;URLSdefget(url):try:

r&＃61; requests.get(url, allow_redirects&＃61;False, timeout&＃61;2.0, headers&＃61;headers)except:pass

else:print(r.status_code, r.url)print(u&＃39;基于gevent的并发抓取&＃39;)

starttime&＃61;time.time()

g&＃61; [gevent.spawn(get, url) for url inurls]

gevent.joinall(g)

endtime&＃61;time.time()print(endtime -starttime)

main()

协程的抓取时间如下&＃xff1a;

正常情况下&＃xff0c;gevent的并发抓取与多线程的消耗时间差不了多少&＃xff0c;但是可能是我网络的原因&＃xff0c;或者机器的性能的原因&＃xff0c;时间有点长......,请各位小主在自己电脑进行跑一下看运行时间

四.基于tornado的coroutine并发抓取

tornado中的coroutine是python中真正意义上的协程&＃xff0c;与python3中的asyncio几乎是完全一样的&＃xff0c;而且两者之间的future是可以相互转换的&＃xff0c;tornado中有与asyncio相兼容的接口。

下面是利用tornado中的coroutine进行并发抓取的代码&＃xff1a;

利用coroutine编写并发略显复杂&＃xff0c;但这是推荐的写法&＃xff0c;如果你使用的是python3&＃xff0c;强烈建议你使用coroutine来编写并发抓取。

下面是测试代码&＃xff1a;

HEADERS &＃61; {&＃39;Accept&＃39;: &＃39;text/html,application/xhtml&＃43;xml,application/xml;q&＃61;0.9&＃39;,&＃39;Accept-Language&＃39;: &＃39;zh-CN,zh;q&＃61;0.8&＃39;,&＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate&＃39;,}

URLS&＃61; [&＃39;http://www.cnblogs.com/moodlxs/p/3248890.html&＃39;,&＃39;https://www.zhihu.com/topic/19804387/newest&＃39;,&＃39;http://blog.csdn.net/yueguanghaidao/article/details/24281751&＃39;,&＃39;https://my.oschina.net/visualgui823/blog/36987&＃39;,&＃39;http://blog.chinaunix.net/uid-9162199-id-4738168.html&＃39;,&＃39;http://www.tuicool.com/articles/u67Bz26&＃39;,&＃39;http://rfyiamcool.blog.51cto.com/1030776/1538367/&＃39;,&＃39;http://itindex.net/detail/26512-flask-tornado-gevent&＃39;]importtimefrom tornado.gen importcoroutinefrom tornado.ioloop importIOLoopfrom tornado.httpclient importAsyncHTTPClient, HTTPErrorfrom tornado.httpclient importHTTPRequest#urls与前面相同

classMyClass(object):def __init__(self):#AsyncHTTPClient.configure("tornado.curl_httpclient.CurlAsyncHTTPClient")

self.http &＃61;AsyncHTTPClient()

&＃64;coroutinedefget(self, url):#tornado会自动在请求首部带上host首部

request &＃61; HTTPRequest(url&＃61;url,

method&＃61;&＃39;GET&＃39;,

headers&＃61;HEADERS,

connect_timeout&＃61;2.0,

request_timeout&＃61;2.0,

follow_redirects&＃61;False,

max_redirects&＃61;False,

user_agent&＃61;"Mozilla/5.0&＃43;(Windows&＃43;NT&＃43;6.2;&＃43;WOW64)&＃43;AppleWebKit/537.36&＃43;\

(KHTML,&＃43;like&＃43;Gecko)&＃43;Chrome/45.0.2454.101&＃43;Safari/537.36",)yield self.http.fetch(request, callback&＃61;self.find, raise_error&＃61;False)deffind(self, response):ifresponse.error:print(response.error)print(response.code, response.effective_url, response.request_time)classDownload(object):def __init__(self):

self.a&＃61;MyClass()

self.urls&＃61;URLS

&＃64;coroutinedefd(self):print(u&＃39;基于tornado的并发抓取&＃39;)

starttime&＃61;time.time()yield [self.a.get(url) for url inself.urls]

endtime&＃61;time.time()print(endtime-starttime)if __name__ &＃61;&＃61; &＃39;__main__&＃39;:

dd&＃61;Download()

loop&＃61;IOLoop.current()

loop.run_sync(dd.d)

抓取的时间如下&＃xff1a;

可以看到总共花费了128087秒&＃xff0c;而这所花费的时间恰恰就是最后一个url抓取所需要的时间&＃xff0c;tornado中自带了查看每个请求的相应时间。我们可以从图中看到&＃xff0c;最后一个url抓取总共花了1.28087秒&＃xff0c;相较于其他时间大大的增加&＃xff0c;这也是导致我们消耗时间过长的原因。那可以推断出&＃xff0c;前面的并发抓取&＃xff0c;也在这个url上花费了较多的时间。

总结&＃xff1a;

以上测试其实非常的不严谨&＃xff0c;因为我们选取的url的数量太少了&＃xff0c;完全不能反映每一种抓取方式的优劣。如果有一万个不同的url同时抓取&＃xff0c;那么记下总抓取时间&＃xff0c;是可以得出一个较为客观的结果的。

并且&＃xff0c;已经有人测试过&＃xff0c;多线程抓取的效率是远不如gevent的。所以&＃xff0c;如果你使用的是python2&＃xff0c;那么我推荐你使用gevent进行并发抓取&＃xff1b;如果你使用的是python3&＃xff0c;我推荐你使用tornado的http客户端结合coroutine进行并发抓取。从上面的结果来看&＃xff0c;tornado的coroutine是高于gevent的轻量级的协程的。但具体结果怎样&＃xff0c;我没测试过。