python学习笔记day104【问题：为什么python的多线程不能利用多核CPU？】

原因&＃xff1a;因为GIL&＃xff0c;python只有一个GIL&＃xff0c;运行python时&＃xff0c;就要拿到这个锁才能执行&＃xff0c;在遇到I/O 操作时会释放这把锁。
如果是纯计算的程序&＃xff0c;没有 I/O 操作&＃xff0c;解释器会每隔100次操作就释放这把锁&＃xff0c;让别的线程有机会 执行&＃xff08;这个次数可以通sys.setcheckinterval
来调整&＃xff09;同一时间只会有一个获得GIL线程在跑&＃xff0c;其他线程都处于等待状态
1、如果是CPU密集型代码&＃xff08;循环、计算等&＃xff09;&＃xff0c;由于计算工作量多和大&＃xff0c;计算很快就会达到100&＃xff0c;然后触发GIL的释放与在竞争&＃xff0c;多个线程来回切换损耗资源&＃xff0c;
所以在多线程遇到CPU密集型代码时&＃xff0c;单线程会比较快
2、如果是I\O密集型代码&＃xff08;文件处理、网络爬虫&＃xff09;&＃xff0c;开启多线程实际上是并发&＃xff08;不是并行&＃xff09;&＃xff0c;IO操作会进行IO等待&＃xff0c;线程A等待时&＃xff0c;自动切换到线程B&＃xff0c;
这样就提升了效率

转&＃xff1a;链接&＃xff1a;https://www.zhihu.com/question/23474039/answer/24695447

地说就是作为可能是仅有的支持多线程的解释型语言&＃xff08;perl的多线程是残疾&＃xff0c;PHP没有多线程&＃xff09;&＃xff0c;Python的多线程是有compromise的&＃xff0c;在任意时间只有一个Python解释器在解释Python bytecode。

如评论指出&＃xff0c;Ruby也是有thread支持的&＃xff0c;而且至少Ruby MRI是有GIL的。如果你的代码是CPU密集型&＃xff0c;多个线程的代码很有可能是线性执行的。所以这种情况下多线程是鸡肋&＃xff0c;效率可能还不如单线程因为有context switch但是&＃xff1a;
如果你的代码是IO密集型&＃xff0c;多线程可以明显提高效率。例如制作爬虫&＃xff0c;绝大多数时间爬虫是在等待socket返回数据。这个时候C代码里是有release GIL的&＃xff0c;最终结果是某个线程等待IO的时候其他线程可以继续执行。
反过来讲&＃xff1a;你就不应该用Python写CPU密集型的代码…效率摆在那里…如果确实需要在CPU密集型的代码里用concurrent&＃xff0c;就去用multiprocessing库。这个库是基于multi process实现了类multi thread的API接口&＃xff0c;
并且用pickle部分地实现了变量共享。再加一条&＃xff0c;如果你不知道你的代码到底算CPU密集型还是IO密集型&＃xff0c;

教你个方法&＃xff1a;multiprocessing这个module有一个dummy的sub module&＃xff0c;它是基于multithread实现了multiprocessing的API。

假设你使用的是multiprocessing的Pool&＃xff0c;是使用多进程实现了concurrency
from multiprocessing import Pool
如果把这个代码改成下面这样&＃xff0c;就变成多线程实现concurrency

from multiprocessing.dummy import Pool
两种方式都跑一下&＃xff0c;哪个速度快用哪个就行了。

转&＃xff1a; 链接&＃xff1a;https://www.zhihu.com/question/23474039/answer/269526476在介绍Python中的线程之前&＃xff0c;先明确一个问题&＃xff0c;Python中的多线程是假的多线程&＃xff01; 为什么这么说&＃xff0c;我们先明确一个概念&＃xff0c;全局解释器锁&＃xff08;GIL&＃xff09;。

Python代码的执行由Python虚拟机&＃xff08;解释器&＃xff09;来控制。Python在设计之初就考虑要在主循环中&＃xff0c;同时只有一个线程在执行&＃xff0c;就像单CPU的系统中运行多个进程那样&＃xff0c;内存中可以存放多个程序&＃xff0c;但任意时刻&＃xff0c;只有一个程序在CPU中运行。
同样地&＃xff0c;虽然Python解释器可以运行多个线程&＃xff0c;只有一个线程在解释器中运行。对Python虚拟机的访问由全局解释器锁&＃xff08;GIL&＃xff09;来控制&＃xff0c;正是这个锁能保证同时只有一个线程在运行。

在多线程环境中&＃xff0c;Python虚拟机按照以下方式执行。

1.设置GIL。
2.切换到一个线程去执行。
3.运行。
4.把线程设置为睡眠状态。
5.解锁GIL。
6.再次重复以上步骤。

对所有面向I/O的&＃xff08;会调用内建的操作系统C代码的&＃xff09;程序来说&＃xff0c;GIL会在这个I/O调用之前被释放&＃xff0c;以允许其他线程在这个线程等待I/O的时候运行。如果某线程并未使用很多I/O操作&＃xff0c;它会在自己的时间片内一直占用处理器和GIL。
也就是说&＃xff0c;I/O密集型的Python程序比计算密集型的Python程序更能充分利用多线程的好处。我们都知道&＃xff0c;比方我有一个4核的CPU&＃xff0c;那么这样一来&＃xff0c;在单位时间内每个核只能跑一个线程&＃xff0c;然后时间片轮转切换。
但是Python不一样&＃xff0c;它不管你有几个核&＃xff0c;单位时间多个核只能跑一个线程&＃xff0c;然后时间片轮转。看起来很不可思议&＃xff1f;但是这就是GIL搞的鬼。任何Python线程执行前&＃xff0c;必须先获得GIL锁&＃xff0c;然后&＃xff0c;每执行100条字节码&＃xff0c;解释器就自动释放GIL锁&＃xff0c;
让别的线程有机会执行。这个GIL全局锁实际上把所有线程的执行代码都给上了锁&＃xff0c;所以&＃xff0c;多线程在Python中只能交替执行&＃xff0c;即使100个线程跑在100核CPU上&＃xff0c;也只能用到1个核。通常我们用的解释器是官方实现的CPython&＃xff0c;要真正利用多核&＃xff0c;除非重写一个不带GIL的解释器。

我们不妨做个试验&＃xff1a;

结果直接飙到了100%&＃xff0c;说明进程是可以利用多核的&＃xff01;

为了验证这是Python中的GIL搞得鬼&＃xff0c;我试着用Java写相同的代码&＃xff0c;开启线程&＃xff0c;我们观察一下

package com.darrenchan.thread;public class TestThread {public static void main(String[] args) {for (int i &＃61; 0; i <3; i&＃43;&＃43;) {new Thread(new Runnable() {&＃64;Overridepublic void run() {while (true) {}}}).start();}while(true){}}
}

由此可见&＃xff0c;Java中的多线程是可以利用多核的&＃xff0c;这是真正的多线程&＃xff01;而Python中的多线程只能利用单核&＃xff0c;这是假的多线程&＃xff01;