python效果怎么样_去安一个Python大数据分析神器效果如何！

对于Pandas运行速度的提升方法&＃xff0c;之前已经介绍过很多回了&＃xff0c;里面经常提及Dask&＃xff0c;很多朋友没接触过可能不是很了解&＃xff0c;今天小编就推荐一下这个神器。

1、Dask是很么&＃xff1f;

Pandas和Numpy大家都不陌生了&＃xff0c;代码运行后数据都加载到RAM中&＃xff0c;如果数据集特别大&＃xff0c;我们就会看到内存飙升。但有时要处理的数据并不适合RAM&＃xff0c;这时候Dask体现到了。

Dask是开源免费。它是与其他社区项目(如Numpy&＃xff0c;Pandas和Scikit-Learn)协调开发。

Dask支持Pandas的DataFrame和NumpyArray的数据结构&＃xff0c;并且既可在本地计算机上运行&＃xff0c;也可以扩展到在集群上运行。

基本上&＃xff0c;只要编写一次代码&＃xff0c;使用普通的Pythonic语法&＃xff0c;就可在本地运行或部署到多节点集群上。这本身就是牛逼的功能了&＃xff0c;但这还不是最牛逼。

我觉得Dask的最牛逼的功能是&＃xff1a;它兼容大部分我们已经在用的工具&＃xff0c;并且只需改动少量的代码&＃xff0c;就可以利用自己笔记本电脑上已有的处理能力并行运行代码。而并行处理数据就意味着更少的执行时间&＃xff0c;更少的等待时间和更多的分析时间。

下面这个就是Dask进行数据处理的大致流程。

2、Dask支持哪些工具&＃xff1f;

这一点也是我比较看中的&＃xff0c;因为Dask可以与Python数据处理和建模的库包兼容&＃xff0c;沿用库包的API&＃xff0c;这对于Python使用者来说学习成本是极低的。而像Hadoop、Spark这种大数据处理是有很高的学习门槛和时间成本。

目前&＃xff0c;Dask可支持pandas、Numpy、Sklearn、XGBoost、XArray、RAPIDS等等&＃xff0c;光是这几项我觉得就足够用了&＃xff0c;至少对于常用的数据处理、建模分析是完全覆盖得掉。

3、安装Dask

可以使用 conda 或者 pip&＃xff0c;或从源代码安装dask 。

因为dask有很多依赖&＃xff0c;所以为了快速安装也可用下面代码&＃xff0c;将安装运行Dask所需的最少依赖关系集。

再有就是通过源来安装。

4、如何使用Dask&＃xff1f;

Numpy、pandas

Dask引入了3个并行集合&＃xff0c;它们可以存储大于RAM的数据&＃xff0c;这些集合有DataFrame、Bags、Arrays。这些集合类型中的每一个都能够使用在RAM和硬盘之间分区的数据&＃xff0c;以及分布在群集中多个节点上的数据。

Dask的使用是非常清晰的&＃xff0c;如果你使用NumPy数组&＃xff0c;就从Dask数组开始&＃xff0c;如果你使用Pandas DataFrame&＃xff0c;就从Dask DataFrame开始&＃xff0c;依此类推。

这些高级接口在略微变化的情况下复制了标准接口。对于原始项目中的大部分API&＃xff0c;这些接口会自动为我们并行处理较大的数据集&＃xff0c;实现上不是很复杂&＃xff0c;对照Dask的doc文档即可一步步完成。

Delayed

下面说一下Dask的 Delay 功能&＃xff0c;非常强大。

Dask.delayed是一种并行化现有代码的简单而强大的方法。之所以被叫做delayed是因为&＃xff0c;它没有立即计算出结果&＃xff0c;而是将要作为任务计算的结果记录在一个图形中&＃xff0c;稍后将在并行硬件上运行。

有时问题用已有的dask.array或dask.dataframe可能都不适合&＃xff0c;在这些情况下&＃xff0c;我们可以使用更简单的dask.delayed界面并行化自定义算法。例如下面这个例子展示了这个算法。

上面代码在单个线程中按顺序运行。但是&＃xff0c;我们看到其中很多可以并行执行。Dask delayed函数可修饰inc、double这些函数&＃xff0c;以便它们可延迟运行&＃xff0c;而不是立即执行函数&＃xff0c;它将函数及其参数放入计算任务图中。

我们简单修改代码&＃xff0c;用delayed函数包装一下。

代码运行后inc、double、add和sum都还没有发生&＃xff0c;而是生成一个计算的任务图交给了total。然后我们用visualizatize看下任务图。

上图明显看到了并行的可能性&＃xff0c;所以毫不犹豫&＃xff0c;使用compute进行并行计算&＃xff0c;这时才完成了计算。

由于数据集较小无法比较时间&＃xff0c;这里只介绍下使用方法&＃xff0c;具体可自己动手实践下。

机器学习Sklearn

关于机器学习的并行化执行&＃xff0c;由于内容较多&＃xff0c;东哥会在另一篇文章展开。这里简单说下一下dask-learn。

dask-learn项目是与Sklearn开发人员协作完成的。现在可实现并行化有Scikit-learn的Pipeline、GridsearchCV和RandomSearchCV以及这些的变体&＃xff0c;它们可以更好地处理嵌套的并行操作。

因此&＃xff0c;如果我们将sklearn替换为dklearn&＃xff0c;那么速度将会提升很多。

下面是一个使用Pipeline的示例&＃xff0c;其中应用了PCA和逻辑回归。

得出的结果是&＃xff1a;sklearn会在40秒钟左右执行此计算&＃xff0c;而dask-learn替代品大约需要10秒钟。

另外&＃xff0c;如果添加以下代码可以连接到集群&＃xff0c;通过Client可以展示整个计算过程的dashboard&＃xff0c;由Bokeh实现。

5、总结

以上简单的介绍Dask的&＃xff0c;Dask的功能是非常强大的&＃xff0c;且说明文档也非常全&＃xff0c;既有示例又有解释。感兴趣的朋友&＃xff0c;下期小七有更美的文章等你来阅读