python统计行号_工具推荐|我是如何使用Python脚本分析CPU使用情况的？

在这篇文章中&＃xff0c;我将讨论一个工具&＃xff0c;用以分析Python中CPU使用情况。CPU分析是通过分析CPU执行代码的方式来测量代码的性能&＃xff0c;以此找到代码中的不妥之处&＃xff0c;然后处理它们。

接下来我们将重点关注以下几个方面&＃xff0c;看看如何跟踪Python脚本使用时CPU使用情况。

    1、cProfile
    2、line_profiler
    3、pprofile
    4、vprof

测量CPU使用率

使用与内存分析中使用的相同脚本&＃xff0c;具体如下&＃xff1a;

另外&＃xff0c;请记住&＃xff0c;在PyPy2中&＃xff0c;您需要使用与之配合的pip版本&＃xff1a;

并且其他依赖项也将被安装&＃xff1a;

cProfile

在讨论CPU分析时&＃xff0c;最常用的工具之一是cProfile&＃xff0c;主要是因为它内置在CPython2和PyPy2中。这是一个确定性的分析器&＃xff0c;意味着在运行程序时会收集一组统计数据&＃xff0c;例如我们代码的各个部分的执行次数或执行时间。此外&＃xff0c;cProfile在系统上的开销比其他内置的分析器(配置文件)要低。

CPython2的用法很简单&＃xff1a;

如果您使用PyPy2&＃xff1a;

其输出如下&＃xff1a;

即使使用这个文本输出&＃xff0c;很容易看到我们的脚本多次调用了list.append方法。如果我们使用gprof2dot&＃xff0c;我们可以以图形的方式看到cProfile输出。要使用它&＃xff0c;我们必须首先安装graphviz&＃xff0c;之后是一些依赖包&＃xff0c;最后在Ubuntu上使用如下命令&＃xff1a;

再次运行脚本&＃xff1a;

我们得到以下output.png文件&＃xff1a;

这样更容易看到一切。我们来仔细看看它的输出。您可以看到脚本中的函数调用如下&＃xff1a;

    1、第一行&＃xff1a;Python文件名&＃xff0c;行号和方法名称
   2、第二行&＃xff1a;代码块占用全部时间的百分比
   3、第三行&＃xff1a;括号中&＃xff0c;方法本身占全部时间的百分比
   4、第四行&＃xff1a;调用函数的次数

例如&＃xff0c;在顶部的第三个红色方块中&＃xff0c;方法primes占用了98.28&＃xff05;的时间&＃xff0c;其中65.44&＃xff05;的内容在其中进行&＃xff0c;调用了40次。其余的时间花在Python中的list.append(22.33&＃xff05;)和range(11.51&＃xff05;)中。

作为一个简单的脚本&＃xff0c;我们只需要重写我们的脚本&＃xff0c;具体的如下所示&＃xff1a;

如果我们使用CPython2测量我们脚本的时间&＃xff0c;

还有PyPy2&＃xff1a;

我们通过使用PyPy2的CPython2和3.1X获得了不错的效果&＃xff0c;下面是cProfile的调用流程图&＃xff1a;

您还可以以编程方式使用cProfile&＃xff0c;例如&＃xff1a;

line_profiler

此分析器在行级提供关于工作负载的信息。它使用Cython在C中实现&＃xff0c;并将其与cProfile进行比较时发现其具有较小的开销。与cProfile相比&＃xff0c;它具有一样的开销&＃xff0c;不过却要花费12倍的时间来获取配置文件。

要使用它&＃xff0c;您需要先通过pip添加它&＃xff1a;pip install pip install Cython ipython &＃61;&＃61; 5.4.1 line_profiler(CPython2)。这个分析器的一个主要缺点是它不支持PyPy。

就像使用memory_profiler一样&＃xff0c;您需要在要分析的函数中添加一个装饰器。在我们的例子中&＃xff0c;您需要在03.primes-v1.py中定义我们的primes函数之前添加&＃64;profile。然后调用它&＃xff1a;

你将得到如下输出&＃xff1a;

我们看到&＃xff0c;重复调用list.append的两个循环花了最多的时间。

pprofile

根据作者说明&＃xff0c;pprofile是一个“线程测量和统计的纯python分析器”。

它受到line_profiler的启发&＃xff0c;修复了很多缺点&＃xff0c;但是由于它完全用Python编写&＃xff0c;所以它也可以与PyPy成功使用。与cProfile相比&＃xff0c;使用CPython时的分析时间要多28倍&＃xff0c;而使用PyPy时&＃xff0c;分析时间要多10倍&＃xff0c;而且细节水平更加细化。

我们也支持PyPy&＃xff01;除此之外&＃xff0c;它支持剖析线程&＃xff0c;这在各种情况下可能会很方便。

要使用它&＃xff0c;您需要先通过pip添加它&＃xff1a;pip install pprofile(CPython2)/ pypy -m pip install pprofile(PyPy)&＃xff0c;然后调用它&＃xff1a;

输出与我们以前看到的不同&＃xff0c;我们得到如下结果&＃xff1a;

我们现在可以更详细地看到一切。让我们来看看输出。您可以获得脚本的整个输出&＃xff0c;并且在每行之前&＃xff0c;您可以看到对其进行的调用次数&＃xff0c;运行时间(秒)&＃xff0c;每次调用的时间和全局时间的百分比&＃xff0c;pprofile为我们的输出添加了额外的行(如第44和50行&＃xff0c;以(call)开头)与累积指标。

再次&＃xff0c;我们看到&＃xff0c;重复调用list.append的两个循环花了我们脚本中最多的时间。

vprof

vprof是一个Python分析器&＃xff0c;为各种Python程序特性(如运行时间和内存使用)提供丰富的交互式可视化。它是一个基于Node.JS的图形化的显示在网页中的结果。
使用它&＃xff0c;您可以看到与Python脚本相关的以下一个或全部&＃xff1a;    1、CPU使用图
    2、代码分析
    3、内存图
    4、代码热图
要使用它&＃xff0c;您需要先通过pip添加它&＃xff1a;pip install vprof(CPython2)/ pypy -m pip install vprof(PyPy)&＃xff0c;然后调用它&＃xff1a;
在CPython2上&＃xff0c;显示代码散热图(第一个调用如下)和代码分析(下面的第二个调用)&＃xff1a;

在PyPy上&＃xff0c;显示代码散热图(第一个调用如下)和代码分析(下面的第二个调用)&＃xff1a;

在每种情况下&＃xff0c;您将看到代码散点图的以下内容

以及代码分析的以下内容。

结果以图形方式看到&＃xff0c;我们可以悬停鼠标或单击每行以获取更多信息。再次&＃xff0c;我们看到&＃xff0c;重复调用list.append的两个循环花了最多的时间。

来源&＃xff1a;https://pythonfiles.wordpress.com/2017/06/01/hunting-performance-in-python-code-part-3/  

译者&＃xff1a;buhaoxuesheng                                                                         

-END-