热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Python:如何判断哪些SciPy和NumPy函数支持多核并行计算?

我试图明确地弄清楚SciPy / NumPy中的哪些函数在多个处理器上运行.我可以,例如在SciPy参考手册中读到SciPy使用它,但我更感兴趣的是确切地说哪些函数运行并行计算,因为并非所有函数都可以

我试图明确地弄清楚SciPy / NumPy中的哪些函数在多个处理器上运行.我可以,例如在SciPy参考手册中读到SciPy使用它,但我更感兴趣的是确切地说哪些函数运行并行计算,因为并非所有函数都可以.当你输入帮助(SciPy.foo)时,梦想场景当然会被包括在内,但事实并非如此.

任何帮助都感激不尽.

最好,

马蒂亚斯

解决方法:

我认为这个问题更适合你使用的BLAS / LAPACK库而不是SciPy / NumPy.

某些BLAS / LAPACK库(如MKL)本身使用多个核,而其他实现可能不会.

以scipy.linalg.solve为例,这里是它的源代码(为清楚起见省略了一些错误处理代码):

def solve(a, b, sym_pos=0, lower=0, overwrite_a=0, overwrite_b=0,
debug = 0):
if sym_pos:
posv, = get_lapack_funcs(('posv',),(a1,b1))
c,x,info = posv(a1,b1, lower = lower, overwrite_a=overwrite_a, overwrite_b=overwrite_b)
else:
gesv, = get_lapack_funcs(('gesv',),(a1,b1))
lu,piv,x,info = gesv(a1,b1, overwrite_a=overwrite_a, overwrite_b=overwrite_b)
if info==0:
return x
if info>0:
raise LinAlgError, "singular matrix"
raise ValueError, 'illegal value in %-th argument of internal gesv|posv'%(-info)

正如您所看到的,它只是两个LAPACK函数系列的一个薄包装(以DPOSV和DGESV为例).

SciPy级别没有并行性,但您在系统上观察到使用多个核心的功能.唯一可能的解释是您的LAPACK库能够使用多个内核,而NumPy / SciPy无法做任何事情来实现这一目标.


推荐阅读
author-avatar
道士也调情
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有