【转】实施并行编程的五大障碍

近期看见一篇来自Intel的很有意思的分析文章&＃xff0c;作者提到在他向45名与会的各公司程序员/开发经理/战略师提问“什么是实施并行编程的最大障碍”时&＃xff0c;下面五个因素被提及的次数最多&＃xff1a;遗留代码(legacy code)、教育(education)、工具(tools)、对众核趋势的恐惧(fear of many cores)以及可维护性(maintainability)。文章虽然是一篇Intel Parallel Studio的软文&＃xff0c;但是其中提及的这五大障碍却非常值得讨论&＃xff0c;下面是我对这五大障碍的一些粗浅看法&＃xff0c;希望能起到一个抛砖引玉的作用&＃xff0c;欢迎大家给出你们的看法。

1. 遗留代码

众所周知&＃xff0c;怎样把公司的那些遗留代码给并行化是一件非常困难的事情。100K~1000K的代码量都非常正常&＃xff0c;而并行编程本身又是非常容易出错的&＃xff0c;一大堆诸如data race, dependency, non-deterministic, memory consistency, dead lock, serialization bottleneck, thread safe等的问题随便哪一个拉出来都让人头大&＃xff0c;更别说要高效可靠的并行化这些庞大的遗留代码了。更困难的是很多遗留代码还有编写者已经离职&＃xff0c;文档注释不全等问题&＃xff0c;这无疑是雪上加霜。从成本上来讲&＃xff0c;如果能通过一些优秀的编译器(例如Intel的ICC)自动并行化一些遗留代码无疑是最省钱的&＃xff0c;但是这种方法最大的缺陷就在于像Intel ICC这种自动型编译器能自动并行化的代码非常少&＃xff0c;从而导致它能提供的性能优化非常有限&＃xff0c;而且就算是真正能获得speedup的代码也有很多约束条件(例如loop的循环之间没有dependence&＃xff0c;并且该loop应该是一个程序热点)。所以目前的现状就是大量的遗留代码并不能有效的被并行化&＃xff0c;从商业的角度上来讲&＃xff0c;如果能有一种解决方案能在短时间内快速可靠的通过实施并行化让遗留代码在多核平台上获得10%~30%的性能提升&＃xff0c;那么它就已经能为公司节省大量成本了。

2. 教育

第二大的障碍可能就是程序员缺乏并行编程方面的教育了。其实并行编程已经有二三十年的历史&＃xff0c;不过在多核CPU出现之前那些并行编程都是“专家”们的玩具。那时候的并行编程大都是跑在集群、大型机或者服务器上&＃xff0c;通过MPI(message passing interface)或者SMP(对称多处理器&＃xff0c;即一个主板上有多个单核CPU&＃xff0c;属于shared memory model)来完成并行计算。Pthread标准是1995年建立的&＃xff0c;之后出来了Windows版的Win32 thread&＃xff0c;后来又出来了“编译指导”、面向data parallel模型的OpenMP(OpenMP 3.0加入了task parallel支持)&＃xff0c;task parallel的鼻祖Cilk&＃xff0c;Intel的Intel Thread Building Block(task parallel)&＃xff0c;Java 1.5开始对多线程提供较好的支持(加入了Java Memory Model)&＃xff0c;近几年随着GPU的发展&＃xff0c;Nvidia又开始搞CUDA(data-parallel)&＃xff0c;Apple一看不对&＃xff0c;并行编程以后是主流啊&＃xff0c;我得插一手&＃xff0c;于是自己撑旗弄了个针对CPU和GPU混合编程的OpenCL&＃xff0c;微软一看也坐不住了也要随着Visual Studio2010开始搞C#的并行库&＃xff0c;马上C&＃43;&＃43;0x也要加入多线程支持&＃xff0c;甚至连老古董Erlang也因为天生支持并行被重新热炒&＃xff0c;总之随着摩尔定律在串行世界的失效&＃xff0c;整个业界都开始被迫往并行编程方向发展。

可是对程序员来说呢是什么情况呢&＃xff1f;我们现在所接受的教育大都还是串行世界的那些算法和数据结构&＃xff0c;高德纳在一篇访谈里说“在我看来&＃xff0c;这种现象或多或少是由于硬件设计者已经无计可施了导致的&＃xff0c;他们将Moore定律失效的责任推脱给软件开发者&＃xff0c;而他们给我们的机器只是在某些指标上运行得更快了而已。如果多线程的想法被证明是失败的&＃xff0c;我一点都不会感到惊讶……你听说过有多少程序员对这种未来一片光明的机器抱有强烈的兴趣&＃xff1f;我几乎没有听说过&＃xff0c;除了他们的诉苦。尽管我们学院那些搞硬件的家伙一直想让我相信我是错的”&＃xff0c;可见硬件发展被迫向多核转移直接导致程序员们免费的午餐已经结束了。那么程序员现在受到良好的并行编程教育了吗&＃xff1f;很显然&＃xff0c;现在随便问一个普通的程序员&＃xff1a;“你觉得并行编程容易么&＃xff1f;”&＃xff0c;十有八九会说“我觉得很难”。前一阵有人讨论服务器编程用多线程好还是多进程好&＃xff1f;其实根本原因就在于哪怕多线程有性能优势&＃xff0c;可是isolation的多进程模式能在programming productivity和performance之间找到比较好的折衷&＃xff0c;所以国内很有服务器开发者都选择了多进程(例如云风)。从大趋势上来讲&＃xff0c;不管是研究体系机构的&＃xff0c;还是写OS/Compiler的&＃xff0c;还是定义编程语言的&＃xff0c;现在都在积极努力的为广大的程序员提供一个更容易使用的并行编程模型&＃xff0c;Intel这几年不也在搞多核培训么&＃xff0c;这都是好现象&＃xff0c;但是&＃xff0c;离真正的全民并行编程时代还有相当长的路要走。近几年的IT技术热门书单里面很少有并行编程的书籍就是个很好的写照。

3. 工具

工欲善其事&＃xff0c;必先利其器。那么现阶段我们能用的&＃xff0c;并且好用的并行编程工具有多少呢&＃xff08;欢迎大家补充&＃xff09;&＃xff1f;

(1) IDE: Intel Parallel Studio&＃xff0c;微软马上出来的VS2010算一个&＃xff0c;Sun的Sun Studio(不知道它的未来如何&＃xff0c;但是它本来就很小众)&＃xff0c;Nvidia的CUDA平台什么的就先不算了
(2) Compiler: Intel的ICC(能自动并行化一些代码)&＃xff0c;Nema Labs的FASThread(一套可以快速可靠的指导程序员实施并行化的解决方案&＃xff0c;特别适合将遗留代码并行化)
(3) Performance Tuning: Intel Vtune Analyzer(综合性能分析)&＃xff0c;Thread profiler&＃xff0c;Acumem的Thread Spotter(针对多核Cache的性能分析和优化)
(4) Debugging: Petra的Jinx

总体上我个人觉得它们对程序员来说确实有用&＃xff0c;但是前提条件是你要会用。这其实又跟第二点“教育”有很大关系了。

4. 对众核的恐惧

现在我们看到4核已经非常普遍了&＃xff0c;等过几年那可就是8核&＃xff0c;16核&＃xff0c;32核了。怎样确保你的代码在核数倍增的趋势下仍能有很好的性能&＃xff0c;很好的可伸缩性&＃xff1f;这真的是个问题。我现在所做的研究就是多线程程序中锁竞争的性能分析&＃xff0c;目的就是为了帮助程序员更好的解决由锁竞争造成的性能瓶颈。实际上&＃xff0c;为了得到很好的可伸缩性&＃xff0c;程序员需要往往需要使用并行友好的数据结构(例如concurrent hash map)&＃xff0c;使用细粒度的锁甚至无锁编程&＃xff0c;设计data parallel的算法&＃xff0c;性能调优(例如典型的false sharing问题)等等等等&＃xff0c;这其中每一项都是不小的挑战。我曾经翻译过的一篇文章对设计多线程程序提供了一些有用的建议。

5. 可维护性

毫无疑问&＃xff0c;我们希望并行代码能够与现存的runtime系统、build系统以及其他现有代码一起正确的工作&＃xff0c;我们更希望这些并行代码易于理解、便于维护并且有较长的生命周期。可是现阶段真正掌握并行编程的程序员少之又少&＃xff0c;而且并行编程又是这么困难&＃xff0c;哪怕你对这些并行代码只是做一些小小的改动都很有可能导致新的bug&＃xff0c;新的性能瓶颈&＃xff0c;那真的是一件非常痛苦的事情。