前言
Python在并行运算方面因为GIL(Global Interpreter Lock&＃xff0c;全局解释器锁)而饱受诟病&＃xff0c;认为Python的多线程其实是伪的&＃xff0c;很鸡肋&＃xff0c;这里就大致讲解下吧&＃xff0c;
在Python的原始解释器CPython中存在着GIL&＃xff0c;因此在解释执行Python代码时&＃xff0c;会产生互斥锁来限制线程对共享资源的访问&＃xff0c;直到解释器遇到I/O操作或者操作次数达到一定数目时才会释放GIL
所以有GIL效果就是&＃xff1a;** 一个进程内同一时间只能允许一个线程进行运算 ** (这尼玛不就是单线程吗&＃xff1f;)
至于为什么要有GIL&＃xff1f;只能说这是个历史遗留问题了&＃xff0c;人家发明Python的时候压根就没想到现在居然有多核CPU&＃xff0c;甚至多CPU的电脑啊~
再至于为什么GIL没有被优化掉&＃xff0c;总是有人家的考虑的&＃xff0c;反正Python3也继续了GIL的优良传统&＃xff0c;爱用不用&＃xff0c;有兴趣的自行搜索GIL吧
我这里尽量用事实说话&＃xff0c;直接黑盒测试下常见的几种并行运算方式
正文
测试环境&＃xff1a;
电脑&＃xff1a;
![]()
我的电脑
Python&＃xff1a; 2.7.10
我都是使用 multiprocessing 模块进行对比&＃xff0c;对比三种常见的使用情况&＃xff0c;我分别取名(非官方)&＃xff1a;ThreadPool,DummyPool,ProcessPool
引入方式如下&＃xff1a;
from multiprocessing.pool import ThreadPool
from multiprocessing.dummy import Pool as DummyPool
from multiprocessing import Pool as ProcessPool
说明&＃xff1a; ThreadPool,DummyPool 都是线程池&＃xff0c;ProcessPool 是进程池
![]()
测试代码如下&＃xff1a;
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# by vellhe 2017/7/1
from multiprocessing.pool import ThreadPool
from multiprocessing.dummy import Pool as DummyPool
from multiprocessing import Pool as ProcessPool
import time
max_range &＃61; 10000000
def run(i):
i &＃61; i * i
# return i # return和不return对进程池运行速度会有比较大影响&＃xff0c;不return效率更高
def thread_pool(num):
p &＃61; ThreadPool(num)
start_time &＃61; time.time()
ret &＃61; p.map(run, range(max_range))
p.close()
p.join()
print("thread_pool %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))
def dummy_pool(num):
p &＃61; DummyPool(num)
start_time &＃61; time.time()
ret &＃61; p.map(run, range(max_range))
p.close()
p.join()
print("dummy_pool %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))
def process_pool(num):
p &＃61; ProcessPool(num)
start_time &＃61; time.time()
ret &＃61; p.map(run, range(max_range))
p.close()
p.join()
print("process_pool %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))
if __name__ &＃61;&＃61; "__main__":
for i in range(1, 9):
thread_pool(i)
dummy_pool(i)
process_pool(i)
print("&＃61;&＃61;&＃61;&＃61;&＃61;")
测试说明&＃xff1a;
通过并行计算max_range次对于i的二次方&＃xff0c;没有任何IO操作&＃xff0c;纯运算
这里特别说明&＃xff0c;由于偶然发现run方法return和不return对ProcessPool会有很大影响&＃xff0c;所以前后分别跑了两次
测试结果&＃xff1a;
没有return:
![]()
没有return
从上图很容易得出以下结论&＃xff1a;
thread_pool和dummy_pool运行速度几乎没有什么区别&＃xff0c;因为都是线程池&＃xff0c;而且从实现代码分析&＃xff0c;其实dummy_pool就是thread_pool&＃xff0c;只是套了一层壳而已
![]()
DummyPool实现
单线程运行速度比多线程要快&＃xff0c;这就是因为python的GIL机制了&＃xff0c;一个进程内同一时间只能允许一个线程进行运算&＃xff0c;多线程只会让时间白白在线程间切换上了。
这时有人会说&＃xff0c;那python的多线程不就废了&＃xff0c;要它何用&＃xff1f;
其实不然&＃xff0c;这里只是做了纯运算的实验&＃xff0c;没有任何IO&＃xff0c;如果是高IO的话情况就不一样了&＃xff0c;因为在等待IO完成时会去处理另外的线程&＃xff0c;而IO往往耗时较高&＃xff0c;所以在一些高IO情况下(如批量处理文件、网络请求、爬虫等)还是可以合理使用python的多线程的
单进程运行比单线程慢&＃xff0c;这个也能理解&＃xff0c;毕竟开一个线程比开一个进程要简单得多&＃xff0c;没有资源分配等乱七八糟的东西
多进程比单进程运行快&＃xff0c;这要是不快就奇怪了&＃xff0c;毕竟多进程是分散在不同cpu核上跑的&＃xff0c;这里和多线程比优势就很明显了&＃xff0c;所以一些科学运算想要提升速度就会用多进程策略了
当多进程数够多情况下会超越多线程的速度&＃xff0c;原因很简单&＃xff0c;多线程并不会因为线程数增多而变快&＃xff0c;而多进程却可以&＃xff0c;所以超越是必然的
有return:
![]()
有return
拿这张图对比上面没有return的那张就会发现一些有意思的事情&＃xff1a;
有return后单线程和多线程速度几乎一致了&＃xff0c;但多进程还是比单进程要快很多&＃xff0c;由于我电脑是4核的&＃xff0c;所以还能大致看出&＃xff0c;4个进程以后速度并没有提升了
有return后总体运算速度都慢了&＃xff0c;特别是进程的速度&＃xff0c;慢了一倍&＃xff0c;这里原因是进程间通信耗时较大&＃xff0c;需要把结果return到主进程中&＃xff0c;所以做大量运算时尽量避免进程间通信
测试存在IO操作的情况
上面都是纯运算&＃xff0c;没有IO&＃xff0c;接下来就看看存在IO操作会是什么样吧&＃xff0c;代码如下&＃xff0c;在循环计算前增加request请求
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# by vellhe 2017/7/1
import time
from multiprocessing.pool import ThreadPool
from multiprocessing import Pool as ProcessPool
import requests
max_range &＃61; 50
def run(i):
requests.get("http://www.qq.com")
for x in range(10000):
i &＃43;&＃61; i * x
return i
def thread_pool(num):
p &＃61; ThreadPool(num)
start_time &＃61; time.time()
ret &＃61; p.map(run, range(max_range))
p.close()
p.join()
print("thread_pool %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))
def process_pool(num):
p &＃61; ProcessPool(num)
start_time &＃61; time.time()
ret &＃61; p.map(run, range(max_range))
p.close()
p.join()
print("process_pool %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))
if __name__ &＃61;&＃61; "__main__":
for i in range(1, 9):
thread_pool(i)
process_pool(i)
print("&＃61;&＃61;&＃61;&＃61;&＃61;")
测试结果&＃xff1a;
![]()
IO操作结果
由上图可知:
存在IO操作的话&＃xff0c;python的多线程才会有用武之地&＃xff0c;有效提升了速度
存在IO情况下&＃xff0c;多进程效率还是会比多线程高很多
进程和线程数都是在4个后速度没有再提升了&＃xff0c;因为我电脑是4核的
继续追加实验&＃xff0c;看看多进程和多线程下CPU使用情况
分别做了好几次实验&＃xff0c;惊奇的发现个很神奇的事情&＃xff0c;不管开多少个进程或者线程&＃xff0c;每次cpu核占用情况都是大致如下&＃xff1a;
![]()
cpu使用情况
结果并没有出现我想像中的&＃xff0c;单进程是一个核占用暴涨&＃xff0c;其它核都是休息状&＃xff0c;我也解释不了为什么了&＃xff0c;难道是multiprocessing有优化&＃xff1f;还是系统层做了优化&＃xff1f;所以再做了一个实验&＃xff0c;没有用任何进程池&＃xff0c;直接for循环计算&＃xff1a;
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# by vellhe 2017/7/1
import time
max_range &＃61; 100000000
def run(i):
i &＃61; i * i
return i
if __name__ &＃61;&＃61; "__main__":
start_time &＃61; time.time()
for i in range(max_range):
run(i)
print("costTime: %fs" % (time.time() - start_time))
结果居然还是各个核的占用情况几乎是均匀的&＃xff0c;所以几乎可以断定&＃xff0c;这是系统层的优化了&＃xff0c;所以先告一段落吧&＃xff0c;以后再继续深究
后语
来个大致总结吧&＃xff0c;针对python而言&＃xff1a;
纯运算情况下单线程比多线程更快
多线程在IO操作较多情况下才能很好的发挥作用&＃xff0c;但效率还是低于多进程
单进程运行比单线程慢&＃xff0c;但当多进程数够多情况下会超越单线程的速度
多进程比单进程运行快
对于多进程而言&＃xff0c;有return会比没有return慢很多很多&＃xff0c;对于多线程却只会慢一点点
【疑惑】不管开多少个进程或者线程&＃xff0c;各个核占用情况几乎是均匀的&＃xff0c;猜测是系统底层有优化
ps&＃xff1a;关于我的疑惑&＃xff0c;知道明确结论的大侠们请给我留言&＃xff0c;多谢
京公网安备 11010802041100号