python:numba加速python的forloop

写了个算法 需要多次计算两个字符串的编辑距离。这部分耗时比较多&＃xff0c;想要进行优化。编辑距离代码见最后的附录。编辑距离本质上是双层for loop&＃xff0c;而且是有依赖关系的for loop&＃xff0c;因此无法并行。然后发现 numba &＃xff0c;介绍如下&＃xff1a;
Numba is a just-in-time compiler for Python that works best on code that uses NumPy arrays and functions, and loops. The most common way to use Numba is through its collection of decorators that can be applied to your functions to instruct Numba to compile them. When a call is made to a Numba decorated function it is compiled to machine code “just-in-time” for execution and all or part of your code can subsequently run at native machine code speed!

本文主要介绍 nopython模式和 parallel模式

2.1 &＃64;numba.njit()

用法非常简单&＃xff0c;在函数上面使用装饰器

import numba&＃64;numba.jit(nopython&＃61;True) # 等价于 &＃64;numba.njit()
def editing_distance(word1: str, word2: str):&＃39;&＃39;&＃39;&＃39;&＃39;&＃39;pass

nopython&＃61;True 意味着numba对装饰器 装饰的函数进行编译成机器码&＃xff0c;完全不使用python 解释器。 注意

1. 使用nopython&＃61;True 意味着着最佳的性能
2. 如果nopython&＃61;True 失败&＃xff0c;可以切换另外一个模式object 。这个模式会把可以把可编译为机器码的for loop 编译&＃xff0c;无法成功编译的则使用python 解释器运行。这个加速效果就会比较差&＃xff0c;建议如果发现nopython&＃61;True 的跑不通&＃xff0c;就尽量去改变代码&＃xff0c;让代码变得更贴近pure python&＃xff0c;进而让代码跑通。
3. 使用numba加速的函数&＃xff0c;第一次被调用的时候会进行初次编译&＃xff0c;这个时间会比较久。计算耗时的时候不应该被记入。第一次之后的执行都会感受到numba的加速
4. numba 不会对所有的for loop都有明显的加速效果。具体的对于什么for loop有比较好的加速效果需要看代码。一般来说对于 pure python的数据结构和numpy 都会有比较好的加速效果

2.2 &＃64;numba.njit(parallel&＃61;True)

对并行的代码进行加速。
level 1 : 原始

def ident_parallel(x):return np.cos(x) ** 2 &＃43; np.sin(x) ** 2


level 2 : &＃64;numba.njit() 把python编译成机器码&＃xff0c;加速 for loop

&＃64;numba.njit()
def ident_parallel(x):return np.cos(x) ** 2 &＃43; np.sin(x) ** 2


level 3 : &＃64;numba.njit(parallel&＃61;True) 把python编译成机器码加速for loop &＃xff0c;且同时利用并行进行优化

&＃64;numba.njit(parallel&＃61;True)
def ident_parallel(x):return np.cos(x) ** 2 &＃43; np.sin(x) ** 2


测试函数如下

if __name__&＃61;&＃61;&＃39;__main__&＃39;:a &＃61; np.zeros((20000, 20000))a_time &＃61; time.time()ident_parallel(a)b_time &＃61; time.time()print(f&＃39; consuming time is {b_time-a_time}&＃39;)

耗时统计如下

level 1 约 4.3 s
level 2 约 0.9 s
level 3 约 0.29 s


可以依次看到 njit 的速度提升以及 njit&＃43;parallel 的速度提升

https://numba.readthedocs.io/en/stable/user/5minguide.html#how-does-numba-work

Numba reads the Python bytecode for a decorated function and combines this with information about the types of the input arguments to the function. It analyzes and optimizes your code, and finally uses the LLVM compiler library to generate a machine code version of your function, tailored to your CPU capabilities. This compiled version is then used every time your function is called.

提前获取Python的输入参数类型&＃xff0c;把Python的字节码转化成机器码&＃xff0c;转化的过程有针对性的优化。每次使用这个函数的时候 直接使用的是机器码&＃xff0c;而无需重新编译

编辑距离

def editing_distance(word1: str, word2: str):&＃39;&＃39;&＃39;两个字符串的编辑距离. &＃39;&＃39;&＃39;if len(word1)&＃61;&＃61;0:return len(word2)if len(word2)&＃61;&＃61;0:return len(word1)size1 &＃61; len(word1)size2 &＃61; len(word2)last &＃61; 0tmp &＃61; list(range(size2 &＃43; 1))value &＃61; Nonefor i in range(size1):tmp[0] &＃61; i &＃43; 1last &＃61; ifor j in range(size2):if word1[i] &＃61;&＃61; word2[j]:value &＃61; lastelse:value &＃61; 1 &＃43; min(last, tmp[j], tmp[j &＃43; 1])last &＃61; tmp[j&＃43;1]tmp[j&＃43;1] &＃61; valuereturn value