放弃“for循环”，教你用这种算法!（附代码）

在11月27日至12月3日的KDnugget网站上&＃xff0c;这篇文章被转载最多(https://www.kdnuggets.com/2017/12/top-news-week-1127-1203.html)。

我们使用for循环来完成大部分工作&＃xff0c;这些工作需要对一长串的元素进行更新。我敢断言&＃xff0c;几乎所有人阅读这篇文章的读者&＃xff0c;在他们高中或大学里都里有肯定有使用过for循环语句编写自己的第一个矩阵或矢量乘法代码。for循环为编程社区提供了长期稳定的服务。

然而&＃xff0c;for循环在处理大型数据集时执行速度通常较慢&＃xff08;例如&＃xff1a;在大数据时代处理几百万条记录&＃xff09;。对于像Python这样的解释性语言来说尤其如此。如果您的循环体很简单&＃xff0c;那么循环解释器会占用大量的开销。

幸运的是&＃xff0c;大部分主流的编程语言都有另外一种编程语言可以取代它。Python也是如此。

Numpy是Numerical Python&＃xff08;http://numpy.org/&＃xff09;的简称&＃xff0c;同时也是Python生态系统中高性能科学计算和数据分析所需要的基本包。它几乎是所有高级语言工具的基础&＃xff0c;如Pandas和 scikit-learn都是在Numpy的基础上编译的。TensorFlow使用NumPy阵列作为底层编译块。在这之上构建了Tensor对象和用于深度学习的graphflow&＃xff08;使用了大量的线性代数运算在一个长的列表/矢量/矩阵&＃xff09;。

Numpy提供的两个最重要的特性是&＃xff1a;

• Ndarray&＃xff1a;一个快速空间高效的多维数组&＃xff0c;提供了矢量化计算操作和复杂的广播能力&＃xff08;https://towardsdatascience.com/two-cool-features-of-python-numpy-mutating-by-slicing-and-broadcasting-3b0b86e8b4c7&＃xff09;

• 标准的数学函数&＃xff0c;可以在不写循环的情况下&＃xff0c;对整个数据数组进行快速操作。

在数据科学、机器学习和Python社区中&＃xff0c;您经常会遇到这样的断言&＃xff1a;Numpy是更速度的。因为它是基于矢量的实现&＃xff0c;而且它的许多核心例程都是用C语言编写&＃xff08;基于CPython 框架&＃xff1a;https://en.wikipedia.org/wiki/CPython&＃xff09;。

这篇文章是一个CPython 框架的很好阐述&＃xff08;http://notes-on-cython.readthedocs.io/en/latest/std_dev.html&＃xff09;Numpy可以与各个方面协同工作。甚至可以使用Numpy api编写裸机骨C例程。Numpy阵列是均匀类型的密集阵列。相反&＃xff0c;Python列表是指向对象的指针数组&＃xff0c;即使它们是相同的对象类型。你可以从区域性关联&＃xff08;https://en.wikipedia.org/wiki/Locality_of_reference&＃xff09;得到收获。

许多Numpy操作是用C语言实现的&＃xff0c;避免了Python中循环的开销、指针指向每个元素的动态类型检查&＃xff08;https://www.sitepoint.com/typing-versus-dynamic-typing/&＃xff09;。Numpy速度的提升取决于你所执行的操作。对于数据科学和现代机器学习来说&＃xff0c;这是一个非常宝贵的优势&＃xff0c;因为通常数据集的大小会达到数百万甚至数十亿。并且您不希望使用For循环和它的相关的算法进行更新。

如何用一个中等大小的数据集来验证它呢?

这里是Jupyter Github代码链接&＃xff08;https://github.com/tirthajyoti/PythonMachineLearning/blob/master/How%20fast%20are%20NumPy%20ops.ipynb&＃xff09;。其中在一些简单的代码行中&＃xff0c;Numpy的操作速度与常规Python编程的速度不同&＃xff0c;比如for循环、map-function&＃xff08;https://stackoverflow.com/questions/10973766/understanding-the-map-function&＃xff09;或list-comprehension&＃xff08;http://www.pythonforbeginners.com/basics/list-comprehensions-in-python&＃xff09;。

这里我简单的概括下基本流程&＃xff1a;

• 创建一个中等数量集的浮点数列表&＃xff0c;最好是从连续的统计分布中抽取出来&＃xff0c;比如高斯分布或均匀随机分布。为了演示我选择了100万条数据

• 在列表中创建一个ndarray对象&＃xff0c;也就是矢量化

• 编写简短的代码块来更新列表&＃xff0c;并在列表上使用数学运算&＃xff0c;比如以10为底的对数。使用for循环、map-function和list-comprehension。并使用time()函数来核实处理100万条数据需要花费多长时间

• 用Numpy的内置数学方法(np.log10)在ndarray对象上做同样的操作。计算出花费了多长时间

• 在一个列表中存储执行时间&＃xff0c;并绘制出一个差异的柱状图

下面是结果显示。你可以运行Jupyter笔记本上的所有代码单元块来重复整个过程。每次它会生成一组新的随机数&＃xff0c;因此精准的执行时间可能会有所不同。但总体来说&＃xff0c;趋势始终是相同的。您可以尝试使用各种其他的数学函数/字符串操作或者集合&＃xff0c;来检查是否适用于一般情况。

这里有一个由法国神经科学研究员编写的完整开源在线书籍&＃xff08;https://www.labri.fr/perso/nrougier/from-python-to-numpy/#id7&＃xff09;。

简单数学运算比较速度的柱状图

如果你有任何问题或想法要分享&＃xff0c;请与作者联系&＃xff08;tirthajyoti&＃64;gmail.com&＃xff09;。您也可以在Python、R或MATLAB和机器学习资源中查看作者的GitHub库&＃xff08;https://github.com/tirthajyoti&＃xff09;&＃xff0c;获得其他有趣的代码片段。你也可以在LinkedIn&＃xff08;https://www.linkedin.com/in/tirthajyoti-sarkar-2127aa7/&＃xff09;上关注我。

原文链接&＃xff1a;

https://towardsdatascience.com/why-you-should-forget-for-loop-for-data-science-code-and-embrace-vectorization-696632622d5f

杨金鸿&＃xff0c;北京护航科技有限公司员工&＃xff0c;在业余时间喜欢翻译一些技术文档。喜欢阅读有关数据挖掘、数据库之类的书&＃xff0c;学习java语言编程等&＃xff0c;希望能在数据派平台上熟识更多爱好相同的伙伴&＃xff0c;今后能在数据科学的道路上走的更远&＃xff0c;飞的更远。