如何运行python代码_如何加速Python代码？

一定要先好好看看你的代码和算法。许多速度问题可以通过实现更好的算法或添加缓存来解决。本文所述都是关于这一主题的&＃xff0c;但要遵循的一些一般指导方针是&＃xff1a;

• 测量&＃xff0c;不要猜测。测量代码中哪些部分运行时间最长&＃xff0c;先把重点放在那些部分上。

• 实现缓存。如果你从磁盘、网络和数据库执行多次重复的查找&＃xff0c;这可能是一个很大的优化之处。

• 重用对象&＃xff0c;而不是在每次迭代中创建一个新对象。Python 必须清理你创建的每个对象才能释放内存&＃xff0c;这就是所谓的“垃圾回收”。许多未使用对象的垃圾回收会大大降低软件速度。

• 尽可能减少代码中的迭代次数&＃xff0c;特别是减少迭代中的操作次数。

• 避免(深度)递归。对于 Python 解释器来说&＃xff0c;它需要大量的内存和维护(Housekeeping)。改用生成器和迭代之类的工具。

• 减少内存使用。一般来说&＃xff0c;尽量减少内存的使用。例如&＃xff0c;对一个巨大的文件进行逐行解析&＃xff0c;而不是先将其加载到内存中。

• 不要这样做。听起来很傻是吧&＃xff1f;但是你真的需要执行这个操作吗&＃xff1f;不能晚点儿再执行吗&＃xff1f;或者可以只执行一次&＃xff0c;并且它的结果可以存储起来&＃xff0c;而不是一遍又一遍地反复计算&＃xff1f;

你可能正在使用 Python 的参考实现 CPython。之所以称为 CPython&＃xff0c;是因为它是用 C 语言编写的。如果你确定你的代码是 CPU 密集型(CPU bound)(如果你不知道这一术语&＃xff0c;请参见本文“使用线程”一节)的话&＃xff0c;那么你应该研究一下 PyPy&＃xff0c;它是 CPython 的替代方案。这可能是一种快速解决方案&＃xff0c;无需更改任何一行代码。

PyPy 声称&＃xff0c;它的平均速度比 CPython 要快 4.4 倍。它是通过使用一种称为 Just-in-time(JIT&＃xff0c;即时编译)技术来实现的。Java 和 .NET 框架就是 JIT 编译的其他著名的例子。相比之下&＃xff0c;CPython 使用解释来执行代码。虽然这一做法提供了很大的灵活性&＃xff0c;但速度也变得慢了下来。

使用 JIT&＃xff0c;你的代码是在运行程序时即时编译的。它结合了 Ahead-of-time(AOT&＃xff0c;提前编译)技术的速度优势(由 C 和 C&＃43;&＃43; 等语言使用)和解释的灵活性。另一个优点是 JIT 编译器可以在运行时不断优化代码。代码运行的时间越长&＃xff0c;它就会变得越优化。

PyPy 在过去几年中取得了长足的进步&＃xff0c;通常情况下&＃xff0c;它可以作为 Python 2 和 Python 3 的简易替换方案。使用 Pipenv 这样的工具&＃xff0c;它也可以完美地工作&＃xff0c;试试看吧&＃xff01;

大部分软件都是 IO 密集型&＃xff0c;而不是 CPU 密集型。如果你对这些术语还不熟悉的话&＃xff0c;请看看下面的解释&＃xff1a;

• IO 密集型(I/O bound)&＃xff1a;软件主要是等待输入 / 输出操作完成才能工作。在从网络或缓慢的存储中获取数据时&＃xff0c;通常会出现这种情况。

• CPU 密集型(CPU bound)&＃xff1a;软件占用了大量的 CPU 资源。它使用了 CPU 所有的能力来产生所需的结果。

在等待来自网络或磁盘的应答时&＃xff0c;你可以使用多个线程使其他部分保持运行状态。

一个线程是一个独立的执行序列。默认情况下&＃xff0c;Python 程序有一个主线程。但你可以创建更多的主线程&＃xff0c;并让 Python 在它们之间切换。这种切换发生得如此之快&＃xff0c;以至于它们看上去就好像是在同时并排运行一样。

线程是独立的执行序列&＃xff0c;共享相同的内存空间。

但与其他编程语言不同的是&＃xff0c;Python 并不是同时运行的&＃xff0c;而是轮流运行。这是因为 Python 中有一种全局解释器锁( Global Interpreter Lock&＃xff0c;GIL)机制。这一点&＃xff0c;以及 threading 库在 我撰写的关于 Python 并发性的文章 有详细的解释。

我们得到的结论是&＃xff0c;线程对于 IO 密集型的软件有很大的影响&＃xff0c;但对 CPU 密集型的软件毫无用处。

这是为什么呢&＃xff1f;很简单。当一个线程在等待来自网络的答复时&＃xff0c;其他线程可以继续运行。如果你要执行大量的网络请求&＃xff0c;线程可以带来巨大的差异。如果你的线程正在进行繁重的计算&＃xff0c;那么它们只是等待轮到它们继续计算&＃xff0c;线程化只会带来更多的开销。

Asyncio 是 Python 中一个相对较新的核心库。它解决了与线程相同的问题&＃xff1a;它加快了 IO 密集型软件的速度&＃xff0c;但这是以不同的方式实现的。我将立即坦承我并非 Python 的 asyncio 拥趸。它相当复杂&＃xff0c;特别是对于初学者来说。我遇到的另一个问题是&＃xff0c;asyncio库在过去几年中有了很大的发展。网上的教程和示例代码常常已经过时。不过&＃xff0c;这并不意味着它就毫无用处。如果你有兴趣的话&＃xff0c;Real Python 网站有一个 不错的 asyncio 指南。

如果你的软件是 CPU 密集型的&＃xff0c;你通常可以用一种可以同时使用更多处理器的方式重写你的代码。通过这种方式&＃xff0c;你就可以线性地调整执行速度。

这就是所谓的并行性&＃xff0c;但并不是所有的算法都可以并行运行。例如&＃xff0c;简单的将递归算法进行并行化是不可能的。但是几乎总有一种替代算法可以很好地并行工作。

使用更多处理处理器有两种方式&＃xff1a;

1. 在同一台机器内使用多个处理器和 / 或内核。在 Python 中&＃xff0c;这可以通过 multiprocessing 库来完成。

2. 使用计算机网络来使用多个处理器&＃xff0c;分布在多台计算机上。我们称之为分布式计算。

这篇 关于 Python 并发性的文章 侧重于介绍如何在一台机器的范围内扩展 Python 软件的方法。它还介绍了multiprocessing 库。如果你认为这是你需要的资料&＃xff0c;一定要去看看。

与 threading 库不同&＃xff0c; multiprocessing 库绕过了 Python 的全局解释器锁。它实际上是通过派生多个 Python 实例来实现这一点的。因此&＃xff0c;现在你可以让多个 Python 进程同时运行你的代码&＃xff0c;而不是在单个 Python 进程中轮流运行线程。

多处理的可视化

multiprocessing 库和 threading 库非常相似。可能出现的问题是&＃xff1a;为什么还要考虑线程呢&＃xff1f;答案是可以猜得到的。线程是“轻量”的&＃xff1a;它需要更少的内存&＃xff0c;因为它只需要一个正在运行的 Python 解释器。产生新进程也还有其开销。因此&＃xff0c;如果你的代码是 IO 密集型的&＃xff0c;线程可能就足够好了。

一旦你实现了软件的并行工作&＃xff0c;那么在使用 Hadoop 之类的分布式计算方面就前进了一小步。通过利用云计算平台&＃xff0c;你可以相对轻松地进行扩展规模。例如&＃xff0c;你可以在云端中处理大型数据集&＃xff0c;并在本地使用结果。使用混合操作的方式&＃xff0c;你可以节省一些资金&＃xff0c;因为云端中的算力非常昂贵。

总结起来就是&＃xff1a;

• 首先考虑优化你的算法和代码。

• 如果原始速度可以解决你的问题&＃xff0c;请考虑使用 PyPy。

• 对 IO 密集型软件使用 threading 库和 asyncio。

• 使用 multiprocessing 库解决 CPU 密集型问题。

• 如果所有这些措施还不够的话&＃xff0c;可以利用 Hadoop 等云计算平台进行扩展规模。

作者介绍&＃xff1a;

Erik-Jan van Baaren&＃xff0c;作家、软件 / 数据工程师。

延伸阅读&＃xff1a;

https://towardsdatascience.com/how-to-speed-up-your-python-code-d31927691012

你也「在看」吗&＃xff1f;?