python进阶扩展day22（Python2）

本文目录一览：

• 
  1、北大青鸟设计培训：python编程开发关于程序扩展操作？
  


• 
  2、Python为什么能扩展
  


• 
  3、python 可扩展主要体现？
  

北大青鸟设计培训：python编程开发关于程序扩展操作？

随着互联网的不断发展，我们对python编程开发技术的学习和掌握程度也在不断的提高。

下面我们就通过案例分析来了解和学习一下，关于程序扩展都有哪些操作方法。

必要的概念传统编程依赖于两个核心概念：函数和类。

使用这些构建块就可以构建出无数的应用程序。

但是，当我们将应用程序迁移到分布式环境时，这些概念通常会发生变化。

一方面，OpenMPI、Python多进程和ZeroMQ等工具提供了用于发送和接收消息的低级原语。

这些工具非常强大，但它们提供了不同的抽象，因此要使用它们就必须从头开始重写单线程应用程序。

另一方面，我们也有一些特定领域的工具，例如用于模型训练的TensorFlow、用于数据处理且支持SQL的Spark，以及用于流式处理的Flink。

这些工具提供了更高级别的抽象，如神经网络、数据集和流。

但是，因为它们与用于串行编程的抽象不同，所以要使用它们也必须从头开始重写应用程序。

用于分布式计算的工具Ray占据了一个独特的中间地带。

它并没有引入新的概念，而是采用了函数和类的概念，并将它们转换为分布式的任务和actor。

Ray可以在不做出重大修改的情况下对串行应用程序进行并行化。

开始使用Rayray.init()命令将启动所有相关的Ray进程。

在切换到集群时，这是需要更改的行(我们需要传入集群地址)。

java课程培训机构发现这些过程包括：有很多worker进程并行执行Python函数(大概是每个CPU核心对应一个worker)。

用于将“任务”分配给worker(以及其他计算机)的调度程序进程。

任务是Ray调度的工作单元，对应于一个函数调用或方法调用。

Python为什么能扩展

Python 具有高可扩展性，存在许多使用 C 语言或 Fortran 编写扩展的方法。必要时，Python 代码可以直接将这些扩展作为子例程来调用。这部分讨论用于构建扩展的一些主要编译器（绝对不是完整列表）。

相关推荐：《Python基础教程》

Cython

Cython（不同于 CPython）既是指一种语言，也是指一种编译器。Cython 语言是添加了 C 语言语法的 Python 语言的超集。Cython 可以在代码段或完整函数中显式释放 GIL。变量和类属性上的 C 类型声明以及对 C 函数的调用都使用 C 语法。其余部分代码则使用 Python 语法。通过这个混合的 Cython 代码，Cython 编译器可生成高效的 C 代码。任何定期优化的 C/C++ 编译器都可以编译此 C 代码，从而高度优化扩展的运行时代码，性能接近于原生的 C 代码性能。

Numba

Numba 是一个动态、即时 (JIT) 且可感知 NumPy 的 Python 编译器。Numba 使用 LLVM 编译器基础架构，生成优化的机器代码和从 Python 调用代码的包装器。与 Cython 不同，编码使用常规的 Python 语言。Numba 可读取来自装饰器中所嵌入注释的类型信息，并优化代码。对于使用 NumPy 数据结构的程序，比如数组以及许多数学函数，它可以实现与 C 或 Fortran 语言类似的性能。NumPy 对线性代数和矩阵函数使用硬件加速，利用 LAPACK 和 BLAS 提供额外加速，大大提升了性能，参见 IBM 博客文章C、Julia、Python、Numba 和 Cython 在 LU 因式分解方面的速度比较。

除 CPU 以外，Numba 还能够使用 GP-GPU 后端。Anaconda, Inc. 是 Python 某个主要发行版的幕后公司，该公司还开发了 Numba 和商业版的 Numba Pro。

Fortran to Python Interface Generator

Fortran to Python Interface Generator (F2Py) 起初为一个独立的程序包，现在包含在 NumPy 中。F2Py 支持 Python 调用以 Fortran 编写的数值例程，就好像它们是另一个 Python 模块一样。因为 Python 解释器无法理解 Fortran 源代码，所以 F2Py 以动态库文件格式将 Fortran 编译为本机代码，这是一种共享对象，包含具有 Python 模块接口的函数。因此，Python 可以直接将这些函数作为子例程来调用，以原生 Fortran 代码的速度和性能来执行。

python 可扩展主要体现？

就算你的项目中有大量的Python代码,你也依旧可以有条不紊地通过将其分离为多个文件或模块加以组织管理。而且你可以从一个模块中选取代码，而从另一个模块中读取属性。更棒的是，对于所有模块，Python的访问语法都是相同的。不管这个模块是Python标准库中的还是你一分钟之前创造的，哪怕是你用其他语言写的扩展都没问题!借助这些特点，你会感觉自己根据需要“扩展”了这门语言，而且你已经这么做了。

代码中的瓶颈，可能是在性能分析中总排在前面的那些热门或者一些特别强调性能的地方，可以作为Python扩展用C重写。需要重申的是，这些接口和纯Python模块的接口是一模一样的，乃至代码和对象的访问方法也是如出一辙的。唯一不同的是，这些代码为性能带来了显著的提升。自然，这全部取决你的应用程序以及它对资源的需求情况。很多时候，使用编译型代码重写程序的瓶颈部分绝对是益处多多的，因为它能明显提升整体性能。

程序设计语言中的这种可扩展性使得工程师能够灵活附加或定制工具，缩短开发周期。虽然像C、C++乃至Java等主流第三代语言(3GL)都拥有该特性，但是这么容易地使用C编写扩展确实是Python的优势。此外，还有像PyRex这样的工具，允许C和Python混合编程，使编写扩展更加轻而易举，因为它会把所有的代码都转换成C语言代码。

因为Python的标准实现是使用C语言完成的(也就是CPython)，所以要使用C和C++编写Python扩展。Python 的Java实现被称作Jython,要使用Java编写其扩展。最后,还有IronPython,这是针对.NET或Mono平台的C#实现。你可以使用C#或者VB.Net扩展IronPython.