python和c混合编程gil_基于Cpython的GIL(GlobalInterpreterLock)

一 介绍

定义&＃xff1a;In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple

native threads from executing Python bytecodes at once. This lock is necessary mainly

because CPython’s memory management is not thread-safe. (However, since the GIL

exists, other features have grown to depend on the guarantees that it enforces.)

结论&＃xff1a;在Cpython解释器中&＃xff0c;同一个进程下开启的多线程&＃xff0c;同一时刻只能有一个线程执行&＃xff0c;无法利用多核优势

首先需要明确的一点是GIL并不是Python的特性&＃xff0c;它是在实现Python解析器(CPython)时所引入的一个概念。就好比C&＃43;&＃43;是一套语言&＃xff08;语法&＃xff09;标准&＃xff0c;但是可以用不同的编译器来编译成可执行代码。

有名的编译器例如GCC&＃xff0c;INTEL C&＃43;&＃43;&＃xff0c;Visual C&＃43;&＃43;等。Python也一样&＃xff0c;同样一段代码可以通过CPython&＃xff0c;PyPy&＃xff0c;Psyco等不同的Python执行环境来执行&＃xff0c;像其中的JPython就没有GIL。

然而因为CPython是大部分环境下默认的Python执行环境。所以在很多人的概念里CPython就是Python&＃xff0c;也就想当然的把GIL归结为Python语言的缺陷。

所以这里要先明确一点&＃xff1a;GIL并不是Python的特性&＃xff0c;Python完全可以不依赖于GIL

二 GIL介绍

GIL本质就是一把互斥锁&＃xff0c;既然是互斥锁&＃xff0c;所有互斥锁的本质都一样&＃xff0c;都是将并发运行变成串行&＃xff0c;以此来控制同一时间内共享数据只能被一个任务所修改&＃xff0c;进而保证数据安全。

可以肯定的一点是&＃xff1a;保护不同的数据的安全&＃xff0c;就应该加不同的锁。

要想了解GIL&＃xff0c;首先确定一点&＃xff1a;每次执行python程序&＃xff0c;都会产生一个独立的进程。例如python test.py&＃xff0c;python aaa.py&＃xff0c;python bbb.py会产生3个不同的python进程

&＃39;&＃39;&＃39;#验证python test.py只会产生一个进程

#test.py内容

import os,time

print(os.getpid())

time.sleep(1000)&＃39;&＃39;&＃39;python3 test.py#在windows下

tasklist |findstr python#在linux下

ps aux |grep python

在一个python的进程内&＃xff0c;不仅有test.py的主线程或者由该主线程开启的其他线程&＃xff0c;还有解释器开启的垃圾回收等解释器级别的线程&＃xff0c;总之&＃xff0c;所有线程都运行在这一个进程内&＃xff0c;毫无疑问

#1 所有数据都是共享的&＃xff0c;这其中&＃xff0c;代码作为一种数据也是被所有线程共享的&＃xff08;test.py的所有代码以及Cpython解释器的所有代码&＃xff09;

例如&＃xff1a;test.py定义一个函数work&＃xff08;代码内容如下图&＃xff09;&＃xff0c;在进程内所有线程都能访问到work的代码&＃xff0c;于是我们可以开启三个线程然后target都指向该代码&＃xff0c;能访问到意味着就是可以执行。#2 所有线程的任务&＃xff0c;都需要将任务的代码当做参数传给解释器的代码去执行&＃xff0c;即所有的线程要想运行自己的任务&＃xff0c;首先需要解决的是能够访问到解释器的代码。

综上&＃xff1a;

如果多个线程的target&＃61;work&＃xff0c;那么执行流程是

多个线程先访问到解释器的代码&＃xff0c;即拿到执行权限&＃xff0c;然后将target的代码交给解释器的代码去执行

解释器的代码是所有线程共享的&＃xff0c;所以垃圾回收线程也可能访问到解释器的代码而去执行&＃xff0c;这就导致了一个问题:对于同一个数据100&＃xff0c;可能线程1执行x&＃61;100的同时&＃xff0c;而垃圾回收执行的是回收100的操作&＃xff0c;解决这种问题没有什么高明的方法&＃xff0c;就是加锁处理&＃xff0c;如下图的GIL&＃xff0c;保证python解释器同一时间只能执行一个任务的代码

三 GIL与Lock

GIL保护的是解释器级的数据&＃xff0c;保护用户自己的数据则需要自己加锁处理&＃xff0c;如下图

四 GIL与多线程

有了GIL的存在&＃xff0c;同一时刻同一进程中只有一个线程被执行

听到这里&＃xff0c;有的同学立马质问&＃xff1a;进程可以利用多核&＃xff0c;但是开销大&＃xff0c;而python的多线程开销小&＃xff0c;但却无法利用多核优势&＃xff0c;也就是说python没用了&＃xff0c;php才是最牛逼的语言&＃xff1f;

别着急啊&＃xff0c;老娘还没讲完呢。

要解决这个问题&＃xff0c;我们需要在几个点上达成一致&＃xff1a;

#1. cpu到底是用来做计算的&＃xff0c;还是用来做I/O的&＃xff1f;

#2. 多cpu&＃xff0c;意味着可以有多个核并行完成计算&＃xff0c;所以多核提升的是计算性能

#3. 每个cpu一旦遇到I/O阻塞&＃xff0c;仍然需要等待&＃xff0c;所以多核对I/O操作没什么用处

一个工人相当于cpu&＃xff0c;此时计算相当于工人在干活&＃xff0c;I/O阻塞相当于为工人干活提供所需原材料的过程&＃xff0c;工人干活的过程中如果没有原材料了&＃xff0c;则工人干活的过程需要停止&＃xff0c;直到等待原材料的到来。

如果你的工厂干的大多数任务都要有准备原材料的过程&＃xff08;I/O密集型&＃xff09;&＃xff0c;那么你有再多的工人&＃xff0c;意义也不大&＃xff0c;还不如一个人&＃xff0c;在等材料的过程中让工人去干别的活&＃xff0c;

反过来讲&＃xff0c;如果你的工厂原材料都齐全&＃xff0c;那当然是工人越多&＃xff0c;效率越高

结论&＃xff1a;

对计算来说&＃xff0c;cpu越多越好&＃xff0c;但是对于I/O来说&＃xff0c;再多的cpu也没用

当然对运行一个程序来说&＃xff0c;随着cpu的增多执行效率肯定会有所提高&＃xff08;不管提高幅度多大&＃xff0c;总会有所提高&＃xff09;&＃xff0c;这是因为一个程序基本上不会是纯计算或者纯I/O&＃xff0c;所以我们只能相对的去看一个程序到底是计算密集型还是I/O密集型&＃xff0c;从而进一步分析python的多线程到底有无用武之地

#分析&＃xff1a;

我们有四个任务需要处理&＃xff0c;处理方式肯定是要玩出并发的效果&＃xff0c;解决方案可以是&＃xff1a;

方案一&＃xff1a;开启四个进程

方案二&＃xff1a;一个进程下&＃xff0c;开启四个线程#单核情况下&＃xff0c;分析结果:

如果四个任务是计算密集型&＃xff0c;没有多核来并行计算&＃xff0c;方案一徒增了创建进程的开销&＃xff0c;方案二胜

如果四个任务是I/O密集型&＃xff0c;方案一创建进程的开销大&＃xff0c;且进程的切换速度远不如线程&＃xff0c;方案二胜#多核情况下&＃xff0c;分析结果&＃xff1a;

如果四个任务是计算密集型&＃xff0c;多核意味着并行计算&＃xff0c;在python中一个进程中同一时刻只有一个线程执行用不上多核&＃xff0c;方案一胜

如果四个任务是I/O密集型&＃xff0c;再多的核也解决不了I/O问题&＃xff0c;方案二胜#结论&＃xff1a;现在的计算机基本上都是多核&＃xff0c;python对于计算密集型的任务开多线程的效率并不能带来多大性能上的提升&＃xff0c;甚至不如串行(没有大量切换)&＃xff0c;但是&＃xff0c;对于IO密集型的任务效率还是有显著提升的。

五 多线程性能测试

from multiprocessing importProcessfrom threading importThreadimportos,timedefwork():

res&＃61;0for i in range(100000000):

res*&＃61;iif __name__ &＃61;&＃61; &＃39;__main__&＃39;:

l&＃61;[]print(os.cpu_count()) #本机为4核

start&＃61;time.time()for i in range(4):

p&＃61;Process(target&＃61;work) #耗时5s多

p&＃61;Thread(target&＃61;work) #耗时18s多

l.append(p)

p.start()for p inl:

p.join()

stop&＃61;time.time()print(&＃39;run time is %s&＃39; %(stop-start))

计算密集型&＃xff1a;多进程效率高

from multiprocessing importProcessfrom threading importThreadimportthreadingimportos,timedefwork():

time.sleep(2)print(&＃39;&＃61;&＃61;&＃61;>&＃39;)if __name__ &＃61;&＃61; &＃39;__main__&＃39;:

l&＃61;[]print(os.cpu_count()) #本机为4核

start&＃61;time.time()for i in range(400):#p&＃61;Process(target&＃61;work) #耗时12s多,大部分时间耗费在创建进程上

p&＃61;Thread(target&＃61;work) #耗时2s多

l.append(p)

p.start()for p inl:

p.join()

stop&＃61;time.time()print(&＃39;run time is %s&＃39; %(stop-start))

I/O密集型&＃xff1a;多线程效率高

应用&＃xff1a;

多线程用于IO密集型&＃xff0c;如socket&＃xff0c;爬虫&＃xff0c;web

多进程用于计算密集型&＃xff0c;如金融分析

Some Content From——Egon&＃39;s Blog