CUDA内核的并发与序列化执行

假设我们有如下伪代码，其中数组 a 和 b 存储于GPU上。这段代码中依次调用了三个CUDA内核函数：

square<<>>(a, length);
cube<<>>(b, length);
add<<>>(a, b, length);

1. 对数组 a 中的每个元素求平方；
2. 对数组 b 中的每个元素求立方；
3. 将数组 a 和 b 对应位置的元素相加。

一个常见的问题是，在前两个内核（求平方和求立方）未完成的情况下，第三个内核（求和）是否能够执行，并且从数组 a 和 b 中读取原始值？

解答

在CUDA编程模型中，内核的执行遵循特定的流控制规则。每个内核调用如果没有指定流参数，默认会被分配到NULL流（也称为默认流）。在同一个流内的操作，CUDA保证它们按照调用顺序依次执行。这意味着，在求平方和求立方的内核调用未完成前，求和内核不会开始执行，因此无法读取到 a 和 b 的原始值。

如果希望实现内核间的并发执行，可以通过为不同的内核调用指定不同的流来实现。当内核被分配到不同的流时，CUDA允许它们同时执行，前提是这些内核之间没有数据依赖关系。为了确保正确性，开发者需要仔细管理内存访问模式和同步机制。

了解CUDA流的高级特性，如异步数据传输和事件同步等，对于构建高效、可靠的GPU应用程序至关重要。进一步的学习可以从CUDA提供的并发内核示例开始，这些示例展示了如何安全地实现多个内核的同时执行。