python库开源网站_有了这5个开源Python库，再也不担心机器学习的事了

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼

Python是一种强大的计算机编程语言&＃xff0c;运用于大数据和机器学习中&＃xff0c;但是机器学习是非常麻烦的一件事&＃xff0c;下面就给大家介绍的这5个开源Python库能够让你学习机器学习的时候更顺手。

1、PyWren

PyWren 允许你将基于 Python 的科学计算工作负载作为多个 AWS Lambda 函数来运行。The New Stack 上一份对该项目的描述是&＃xff0c;使用 AWS Lamba 作为强大的并行处理系统&＃xff0c;处理可以切分为多个小任务的项目&＃xff0c;从而不用占据大量的内存或存储空间。

此项目有个缺点是 lambda 函数运行不能超过 300 秒。但如果是一份只需几分钟就能完成的工作&＃xff0c;并且要在数据集中运行上千次&＃xff0c;那PyWren 会是不错的选择&＃xff0c;它能在一定程度上将用户硬件上无法运行的工作平行化至云端。

2、Tfdeploy

Google 的 TensorFlow 框架在发布了 1.0 版本之后进入辉煌时期&＃xff0c;这时人们要问了&＃xff1a;如何才能在不使用 TensorFlow 本身的情况下&＃xff0c;使用在 TensorFlow 上训练的模型?

Tfdeploy 能给你答案。它将经过训练的 TensorFlow 模型导出为“简单的基于 NumPy 的可调用对象”&＃xff0c;即该模型可以在 Python 中使用&＃xff0c;并以 Tfdeploy 和 NumPy math-and-stats 库为唯一的依赖关系。大多数可以在TensorFlow 中执行的操作也可以在 Tfdeploy 中执行&＃xff0c;你可以通过标准的 Python metaphors 来扩展库的行为(如&＃xff0c;重载类)。

3、Luigi

编写批量作业只是处理数据堆的一部分&＃xff0c;你还需要将所有作业串起来生成类似工作流和管道的东西。

Luigi 由 Spotify 创建&＃xff0c;用于“解决与长期运行成批处理作业有关的管道问题”。开发者可以通过 Luigi 采用多个不同且不相关的数据处理任务&＃xff0c;如&＃xff0c;Hive 查询&＃xff0c;Java 中的Hadoop 任务&＃xff0c;Scala 中的 Spark 任务&＃xff0c;从数据库转储 table 等&＃xff0c;还可以创建一个端到端运行它们的工作流。

对任务的整个描述以及依存性被打造为 Python 模块&＃xff0c;而不是作为 XML 配置文件或其他数据格式创建&＃xff0c;因此可以集成到其他以 Python 为中心的项目中。