python 并发编程
最初发布于 melvinkoh.me
在本文中&＃xff0c;我将首先带您了解并发编程与并行执行之间的区别&＃xff0c;讨论有关Python内置的并发编程机制以及Python中多线程的陷阱。
了解并发编程与并行执行
尽管事实上这两个术语经常互换使用&＃xff0c;但并发编程并不等同于并行执行。
>没有并行的并发插图
并发是一个属性&＃xff0c;可以同时运行多个操作&＃xff0c;但这并不意味着可以并发。 &＃xff08;想象一下&＃xff0c;如果您的处理器是单线程的。&＃xff09;
>并行性插图
并行是实际上同时运行操作的属性。 通常由硬件限制决定。
将您的程序视为一条快餐链&＃xff0c;当构建两个单独的订单和收款柜台时&＃xff0c;并发即被合并。 但是&＃xff0c;它不能确保并行性&＃xff0c;因为它取决于可用雇员的数量。 如果只有一名员工同时处理订单和收款请求&＃xff0c;则这些操作不能并行运行。 仅当有两个员工同时服务于订单和收货时&＃xff0c;才出现并行。
Python内置
现在&＃xff0c;我们在Python中拥有什么&＃xff1f; Python是否有内置程序可以帮助我们构建并发程序并使它们并行运行&＃xff1f;
在下面的讨论中&＃xff0c;我们假定我们的程序都是在多线程或多核处理器中编写并运行的。
答案是Jein &＃xff08;德语为是和否&＃xff09;。 为什么是&＃xff1f; Python确实具有用于最常见的并发编程结构&＃xff08;多处理和多线程&＃xff09;的内置库。 您可能会认为&＃xff0c;由于Python同时支持&＃xff0c;为什么选择Jein&＃xff1f; 原因是&＃xff0c;由于Python中的GIL&＃xff0c;Python中的多线程并不是真正的多线程。
多线程—基于线程的并行性
threading是提供用于创建和管理线程的API的软件包。 Python中的线程始终是不确定性的&＃xff0c;它们的调度由操作系统执行。 但是&＃xff0c;多线程可能无法达到您的预期。
为什么Python中的多线程可能不是您想要的&＃xff1f;
除了常见的陷阱&＃xff08;如死锁&＃xff09;之外&＃xff0c;多线程通常会出现饥饿。 Python因其在多线程中的性能较差而臭名昭著。
让我们看一下以下代码片段&＃xff1a;
import threadingdef countdown () :x &＃61; 1000000000while x > 0 :x -&＃61; 1
# Implementation 1: Multi-threading
def implementation_1 () :thread_1 &＃61; threading.Thread(target&＃61;countdown)thread_2 &＃61; threading.Thread(target&＃61;countdown)thread_1.start()thread_2.start()thread_1.join()thread_2.join()
# Implementation 2: Run in serial
def implementation_2 () :countdown()countdown()
哪个实施会更快&＃xff1f; 让我们执行一个定时。
>两种实现的时序结果
令人惊讶的是&＃xff0c;连续运行2个countdown()胜过多线程吗&＃xff1f; 这怎么可能呢&＃xff1f; 多亏了臭名昭著的Global Interpreter Lock&＃xff08;GIL&＃xff09;。
什么是全局翻译锁定&＃xff08;GIL&＃xff09;&＃xff1f;
在大多数情况下&＃xff0c;取决于Python的分布是CPython的实现。 CPython是Python的原始实现&＃xff0c;您可以在此StackOverflow线程中阅读有关它的更多信息。
在CPython中&＃xff0c;通过引入称为全局解释器锁&＃xff08;又称为GIL&＃xff09;的互斥对象来支持多线程。 这是为了防止多个线程同时访问同一Python对象。 这是有道理的&＃xff0c;您不希望其他人在处理对象时对其进行变异。
>实施示意图_1
因此&＃xff0c;从上面的代码段中&＃xff0c; implementation_1创建2个线程&＃xff0c;并应在多线程系统上并行运行。 但是&＃xff0c;一次只能有一个线程可以容纳GIL&＃xff0c;一个线程必须等待另一线程释放GIL才能运行。 同时&＃xff0c;由操作系统完成的调度和切换会带来开销&＃xff0c;从而使implementation_1变得更加缓慢。
如何绕过GIL&＃xff1f;
我们如何在保持多线程使用的同时绕过GIL&＃xff1f; 这个问题没有通用的好答案&＃xff0c;因为这与您的代码目的有所不同。
可以选择使用Jython&＃xff0c;PyPy或IronPython等不同的Python实现。 我个人不主张使用不同的Python实现&＃xff0c;因为大多数编写的库都没有针对不同的Python实现进行测试。
另一个可能的解决方法是使用C扩展&＃xff0c;或更好地称为Cython 。 请注意&＃xff0c;Cython和CPython是不同的。 您可以在此处阅读有关Cython的更多信息。
请改用多处理。 由于在多处理中&＃xff0c;将为每个子进程创建一个解释器。 不存在争用GIL简单线程的情况&＃xff0c;因为在每个进程中始终只有一个主线程。
尽管存在所有陷阱&＃xff0c;我们是否仍应使用多线程&＃xff1f;
如果您的任务是受I / O约束的&＃xff0c;则意味着线程将花费大部分时间来处理I / O&＃xff0c;例如执行网络请求。 仍然可以使用多线程&＃xff0c;因为在大多数情况下&＃xff0c;线程被操作系统阻塞并放入阻塞队列中。 线程也总是比进程少耗费资源。
多处理—基于过程的并行性
让我们使用多重处理实现我们之前的代码片段。
import multiprocessing
# countdown() is defined in the previous snippet.
def implementation_3 () :process_1 &＃61; multiprocessing.Process(target&＃61;countdown)process_2 &＃61; multiprocessing.Process(target&＃61;countdown)process_1.start()process_2.start()process_1.join()process_2.join()
结果本身是不言自明的。
>多处理与多线程的计时结果
结论
GIL的约束在最初作为Python开发人员时吸引了我。 直到我确定时机&＃xff0c;我才意识到使用线程的决定是毫无价值的。 希望本文对您有所帮助。
翻译自: https://hackernoon.com/concurrent-programming-in-python-is-not-what-you-think-it-is-b6439c3f3e6a
python 并发编程
京公网安备 11010802041100号