python查看函数消耗的内存_检测Python程序运行时间、CPU和内存占用的方法

在运行复杂的Python程序时&＃xff0c;执行时间会很长&＃xff0c;这时也许想提高程序的执行效率。但该怎么做呢&＃xff1f;

首先&＃xff0c;要有个工具能够检测代码中的瓶颈&＃xff0c;例如&＃xff0c;找到哪一部分执行时间比较长。接着&＃xff0c;就针对这一部分进行优化。

同时&＃xff0c;还需要控制内存和CPU的使用&＃xff0c;这样可以在另一方面优化代码。

因此&＃xff0c;在这篇文章中我将介绍7个不同的Python工具&＃xff0c;来检查代码中函数的执行时间以及内存和CPU的使用。

1. 使用装饰器来衡量函数执行时间

有一个简单方法&＃xff0c;那就是定义一个装饰器来测量函数的执行时间&＃xff0c;并输出结果&＃xff1a;

import time

from functools import wraps

def fn_timer(function):

&＃64;wraps(function)

def function_timer(*args, **kwargs):

t0 &＃61; time.time()

result &＃61; function(*args, **kwargs)

t1 &＃61; time.time()

print ("Total time running %s: %s seconds" %

(function.func_name, str(t1-t0))

)

return result

return function_timer

接着&＃xff0c;将这个装饰器添加到需要测量的函数之前&＃xff0c;如下所示&＃xff1a;

&＃64;fn_timer

def myfunction(...):

...

例如&＃xff0c;这里检测一个函数排序含有200万个随机数字的数组所需的时间&＃xff1a;

&＃64;fn_timer

def random_sort(n):

return sorted([random.random() for i in range(n)])

if __name__ &＃61;&＃61; "__main__":

random_sort(2000000)

执行脚本时&＃xff0c;会看到下面的结果&＃xff1a;

Total time running random_sort: 1.41124916077 seconds

2. 使用timeit模块

另一种方法是使用timeit模块&＃xff0c;用来计算平均时间消耗。

执行下面的脚本可以运行该模块。

python -m timeit -n 4 -r 5 -s "import timing_functions" "timing_functions.random_sort(2000000)"

这里的timing_functions是Python脚本文件名称。

在输出的末尾&＃xff0c;可以看到以下结果&＃xff1a;

4 loops, best of 5: 2.08 sec per loop

这表示测试了4次&＃xff0c;平均每次测试重复5次&＃xff0c;最好的测试结果是2.08秒。

如果不指定测试或重复次数&＃xff0c;默认值为10次测试&＃xff0c;每次重复5次。

3. 使用Unix系统中的time命令

然而&＃xff0c;装饰器和timeit都是基于Python的。在外部环境测试Python时&＃xff0c;unix time实用工具就非常有用。

运行time实用工具&＃xff1a;

$ time -p python timing_functions.py

输出结果为&＃xff1a;

Total time running random_sort: 1.3931210041 seconds

real 1.49

user 1.40

sys 0.08

第一行来自预定义的装饰器&＃xff0c;其他三行为&＃xff1a;

real表示的是执行脚本的总时间

user表示的是执行脚本消耗的CPU时间。

sys表示的是执行内核函数消耗的时间。

注意&＃xff1a;根据维基百科的定义&＃xff0c;内核是一个计算机程序&＃xff0c;用来管理软件的输入输出&＃xff0c;并将其翻译成CPU和其他计算机中的电子设备能够执行的数据处理指令。

因此&＃xff0c;Real执行时间和User&＃43;Sys执行时间的差就是消耗在输入/输出和系统执行其他任务时消耗的时间。

4. 使用cProfile模块

如果想知道每个函数和方法消耗了多少时间&＃xff0c;以及这些函数被调用了多少次&＃xff0c;可以使用cProfile模块。

$ python -m cProfile -s cumulative timing_functions.py

现在可以看到代码中函数的详细描述&＃xff0c;其中含有每个函数调用的次数&＃xff0c;由于使用了-s选项&＃xff08;累加&＃xff09;&＃xff0c;最终结果会根据每个函数的累计执行时间排序。

读者会发现执行脚本所需的总时间比以前要多。这是由于测量每个函数的执行时间这个操作本身也是需要时间。

5. 使用line_profiler模块

line_profiler模块可以给出执行每行代码所需占用的CPU时间。

首先&＃xff0c;安装该模块&＃xff1a;

$ pip install line_profiler

接着&＃xff0c;需要指定用&＃64;profile检测哪个函数&＃xff08;不需要在代码中用import导入模块&＃xff09;&＃xff1a;

&＃64;profile

def random_sort2(n):

l &＃61; [random.random() for i in range(n)]

l.sort()

return l

if __name__ &＃61;&＃61; "__main__":

random_sort2(2000000)

最好&＃xff0c;可以通过下面的命令获得关于random_sort2函数的逐行描述。

$ kernprof -l -v timing_functions.py

其中-l表示逐行解释&＃xff0c;-v表示表示输出详细结果。通过这种方法&＃xff0c;我们看到构建数组消耗了44%的计算时间&＃xff0c;而sort()方法消耗了剩余的56%的时间。

同样&＃xff0c;由于需要检测执行时间&＃xff0c;脚本的执行时间更长了。

6. 使用memory_profiler模块

memory_profiler模块用来基于逐行测量代码的内存使用。使用这个模块会让代码运行的更慢。

安装方法如下&＃xff1a;

pip install memory_profiler

另外&＃xff0c;建议安装psutil包&＃xff0c;这样memory_profile会运行的快一点&＃xff1a;

$ pip install psutil

与line_profiler相似&＃xff0c;使用&＃64;profile装饰器来标识需要追踪的函数。接着&＃xff0c;输入&＃xff1a;

$ python -m memory_profiler timing_functions.py

脚本的执行时间比以前长1或2秒。如果没有安装psutil包&＃xff0c;也许会更长。

从结果可以看出&＃xff0c;内存使用是以MiB为单位衡量的&＃xff0c;表示的mebibyte&＃xff08;1MiB &＃61; 1.05MB&＃xff09;。

7. 使用guppy包

最后&＃xff0c;通过这个包可以知道在代码执行的每个阶段中&＃xff0c;每种类型&＃xff08;str、tuple、dict等&＃xff09;分别创建了多少对象。

安装方法如下&＃xff1a;

$ pip install guppy

接着&＃xff0c;将其添加到代码中&＃xff1a;

from guppy import hpy

def random_sort3(n):

hp &＃61; hpy()

print "Heap at the beginning of the functionn", hp.heap()

l &＃61; [random.random() for i in range(n)]

l.sort()

print "Heap at the end of the functionn", hp.heap()

return l

if __name__ &＃61;&＃61; "__main__":

random_sort3(2000000)

运行代码&＃xff1a;

$ python timing_functions.py

可以看到输出结果为&＃xff1a;

通过在代码中将heap()放置在不同的位置&＃xff0c;可以了解到脚本中的对象创建和删除操作的流程。