目录

前言

快速PCIe背景

涉及的基本机制

操作特性

前言

bandaoyu 本文随时更新,地址&＃xff1a;https://blog.csdn.net/bandaoyu/article/details/119204643 

原文&＃xff1a;How does InfiniBand work?-https://www.rohitzambre.com/blog/2019/4/27/how-are-messages-transmitted-on-infiniband

How does InfiniBand work? -https://www.rohitzambre.com/blog/2019/4/27/how-are-messages-transmitted-on-infiniband

其他翻译&＃xff1a;InfiniBand如何工作&＃xff1f; - https://zhuanlan.zhihu.com/p/336504815

摘要&＃xff1a;这篇文章描述了在 InfiniBand 互连环境中 传输消息并发出‘’信号完成’&＃xff0c;CPU 和 NIC 之间通过 PCI Express 结构在幕后发生的一系列协同事件。

通过InfiniBand发送消息的主要方法是通过Verbs API。libibverbs是这个API的标准实现&＃xff0c;由linux RDMA社区维护。Verbs有两种功能&＃xff1a;慢路径功能和快路径功能。慢路径功能&＃xff08;如ibv_open_device、ibv_alloc_pd等&＃xff09;是与资源&＃xff08;如上下文、保护域和内存区域&＃xff09;的创建和配置相关的功能。它们之所以被称为“慢”&＃xff0c;是因为它们涉及内核&＃xff0c;因此会产生上下文切换的昂贵开销。快速路径功能&＃xff08;如ibv_post_send、ibv_poll_cq等&＃xff09;处理操作的启动和完成。它们被称为“快”&＃xff0c;因为它们绕过内核&＃xff0c;因此比慢路径功能快得多。通信的关键路径主要由快速路径功能和偶尔的慢路径功能组成&＃xff0c;如ibv_reg_mr&＃xff0c;以动态注册内存区域&＃xff08;取决于通信中间件&＃xff09;。本文主要讨论程序员执行ibv_post_send后发生的机制。

快速PCIe背景

网络接口卡&＃xff08;NIC&＃xff09;通常通过PCI Express&＃xff08;PCIe&＃xff09;插槽连接到服务器。PCIe I/O子系统的主要导体&＃xff08;conductor &＃xff09;是根复合体&＃xff08;Roo Complex, RC&＃xff09;。RC将处理器和内存连接到PCIe结构。

CPU和Memory和PCIe结构通过RC&＃xff08;Roo Complex, RC&＃xff09;将连接在一起。

PCIe结构可以包括一个设备的层次结构。  连接到PCIe结构的外围设备称为PCIe端点&＃xff08;PCIe endpoints&＃xff09;。

PCIe总结--3层协议层补充_-https://blog.csdn.net/Fuji_Shikamaru/article/details/105329381

PCIe协议由三层组成&＃xff1a;事务层、数据链路层和物理层。

第一层&＃xff0c;最上层&＃xff0c;描述发生的事务的类型。

对于本文&＃xff0c;两种类型的传输层数据包&＃xff08;TLP&＃xff09;是相关的&＃xff1a;Memory Write&＃xff08;MWr&＃xff09;和Memory Read&＃xff08;MRd&＃xff09;。与独立的MWr TLP不同&＃xff0c;MRd TLP与来自目标PCIe端点的“带数据完成”&＃xff08; Completion with Data, CplD&＃xff09;事务耦合在一起&＃xff0c;该事务包含启动器请求的数据。

数据链路层使用数据链路层分组&＃xff08;DLLP&＃xff09;确认&＃xff08;ACK/NACK&＃xff09;和基于Credits的流控制机制来确保所有事务的成功执行。发起方可以发出一个事务&＃xff0c;只要它有足够的Credits额度。当它从它的邻居那里接收到更新流控制&＃xff08;UpdateFC&＃xff09;DLLPs时&＃xff0c;它的Credits就会被补充。这种流控制机制允许PCIe协议具有多个未完成事务。

 PCIe总结--3层协议层补充_https://blog.csdn.net/Fuji_Shikamaru/article/details/105329381

涉及的基本机制

首先&＃xff0c;将描述如何使用完全卸载&＃xff08;即绕过内核&＃xff09;的方法发送消息&＃xff0c;也就是说&＃xff0c;CPU只通知网卡&＃xff08;NIC&＃xff09;有消息要传输&＃xff1b;NIC将做剩下的所有其他事情来传输数据&＃xff0c;如此一来&＃xff0c;CPU就可以更多做其他事情。然而&＃xff0c;这种方法可能不利于小消息的通信性能&＃xff08;这一点很快就会显现出来&＃xff09;。为了提高这种情况下的通信性能&＃xff0c;InfiniBand提供了一些操作特性&＃xff0c;将在下一节中介绍这些特性。

从CPU程序员的角度来看&＃xff0c;存在一个传输队列&＃xff08;Verbs中是&＃xff1a;队列对&＃xff08;Queue Pair&＃xff0c;QP&＃xff09;&＃xff09;和完成队列&＃xff08;Verbs中是&＃xff1a;CQ&＃xff09;。用户将他们的消息描述符&＃xff08;MD&＃xff1b;Work Queue Element/Entry&＃xff08;WQE&＃xff1b;wookie&＃xff09;以Verbs形式post到传输队列&＃xff0c;然后在CQ上轮询以确认所发布消息的完成。用户也可以要求得到有关完成情况的中断通知&＃xff0c;但是&＃xff0c;轮询方法是面向延迟的&＃xff08;更适合于要求低延迟的通信&＃xff09;&＃xff0c;因为关键路径中没有上下文切换到内核。消息在网络上的实际传输通过处理器芯片和网卡之间的协调来实现&＃xff0c;使用内存映射I/O&＃xff08;MMIO&＃xff09;和直接内存访问&＃xff08;DMA&＃xff09;读写。下图中描述这些步骤。

&＃xff08;图中标明了步骤序号&＃xff09;

步骤0&＃xff1a;用户首先将MD &＃xff08;wr &＃xff1f;&＃xff09;排队到TxQ &＃xff08;SQ &＃xff1f;&＃xff09;中。然后&＃xff0c;CPU&＃xff08;网络驱动程序&＃xff09;准备特定于设备的 MD&＃xff0c;其中包含 NIC 的标头和指向有效负载的指针。

步骤1&＃xff1a;使用8字节的原子写入内存映射位置&＃xff0c;CPU&＃xff08;网络驱动程序&＃xff09;按门铃&＃xff08;1&＃xff09;通知NIC消息已准备好要发送。RC使用MWr&＃xff08;MemoryWrite&＃xff09;PCIe事务 执行响门铃。

 步骤2&＃xff1a;门铃响后&＃xff0c;网卡通过DMA读取MD。MRd PCIe事务执行DMA读取。

步骤3&＃xff1a;&＃xff08;从MD知道待传输的数据在哪里&＃xff09;NIC将使用另一个DMA读取&＃xff08;另一个MRd TLP&＃xff09;从注册的内存区域获取有效负载。请注意&＃xff0c;在NIC可以执行DMA读取之前&＃xff0c;必须将虚拟地址转换为物理地址。

&＃xff08;2-3&＃xff1a;先MRd PCIe  dma读取MD获取负载信息&＃xff0c;再MRd TLP  dma读取有效负载&＃xff09;

步骤4&＃xff1a;一旦网卡接收到有效载荷&＃xff0c;它就会通过网络传输读取的数据。成功传输后&＃xff0c;NIC从目标NIC接收确认&＃xff08;ACK&＃xff09;。

步骤5&＃xff1a;接收到ACK后&＃xff0c;NIC将通过DMA方式write&＃xff08;使用MWr TLP&＃xff09;一个完[成队列条目]&＃xff08;CQE&＃xff1b;vbers中称为COOKIE&＃xff1b;Mellanox InfiniBand中为64字节&＃xff09;到与TxQ关联的CQ。然后CPU将轮询此CQE进行判断和后续。

总之&＃xff0c;每个post的关键数据路径需要一次 MMIO 写入、两次 DMA 读取和一次 DMA 写入。DMA-reads转换为昂贵的往返 PCIe 延迟。例如&＃xff0c;ThunderX2 机器的往返 PCIe 延迟约为 125 纳秒。

&＃xff08;一次 MMIO 写入&＃xff1a;对映射内存的写入、两次 DMA 读取&＃xff1a;第一次读取MD&＃xff0c;第二次根据MD 读取负载和一次 DMA 写入&＃xff1a;写入WC&＃xff09;

&＃xff08;ibv_post_send: 将wr 放到 SQ。驱动程序也将&＃xff08;处理过后&＃xff09;wr写入内存映射位置并通知网卡&＃xff0c;网卡DMA读取wr&＃xff0c;从wr里面得知待发送是数据在本地的地址和要发送到对端的地址。网卡根据本地地址从映射内存读取数据将其传输到对端地址&＃xff09;

操作特性

内联/inlining、Postlist、unsigned completion和Programmed I/O是IB的操作特性&＃xff0c;有助于减少这种开销。考虑到QP的深度为n&＃xff0c;将在下面描述它们。

• Postlist&＃xff1a;IB允许应用程序通过一个调用ibv_post_send来发布WQE的链接列表&＃xff0c;而不是每次只发布一个WQE。它可以将门铃响的次数从n减少到1。
• INLINE/内联&＃xff1a;这里&＃xff0c;CPU&＃xff08;网络驱动程序&＃xff09;将数据复制到WQE中 &＃xff08;WD &＃xff1f;&＃xff09;。因此&＃xff0c;通过对WQE的第一次DMA读取&＃xff0c;NIC也获得了有效载荷&＃xff0c;从而消除了针对有效载荷的第二次DMA读取。
• unsigned Completions&＃xff1a;IB默认是为每个WQE发送一个完成信号&＃xff0c;但IB也允许应用程序关闭指定的WQE的完成&＃xff08;信号&＃xff09;&＃xff0c;但是注意每隔post  n 个关闭信号的WQE&＃xff0c;就要post一个开启完成信号的WQE 。&＃xff08;因为只有产生CQE&＃xff0c;程序去读取了CQE之后才会清理发送队列SQ的SQE&＃xff0c;如果一直没有CQE产生&＃xff0c;则读取不断CQE也不就不会清理发送队列SQ&＃xff0c;很快发送队列SQ就会撑满&＃xff09;

关闭Completion可以减少NIC对CQE的DMA writes。此外&＃xff0c;应用程序轮询更少的CQE&＃xff0c;从而减少了开销。

• BlueFlame&＃xff1a;BlueFlame&＃xff1a;BlueFlame 是 Mellanox 的编程 I/O 术语——它与 DoorBell 一起写入 WQE&＃xff0c;切断 WQE 本身的 DMA 读取。请注意&＃xff0c;BlueFlame 仅在没有 Postlist 的情况下使用。使用 Postlist&＃xff0c;NIC 将 DMA 读取链表中的 WQE。

为了减少PCIe往返延迟的开销&＃xff0c;开发人员通常将内联和BlueFlame一起用于小消息。它消除了两个PCIe往返延迟。虽然内联和BlueFlame的使用取决于消息大小&＃xff0c;但是Postlist和unsigned completion的使用主要依赖于用户的设计选择和应用程序语义。

ibv_fork_init的调用也会对性能有影响

https://blog.csdn.net/bandaoyu/article/details/124327417?spm&＃61;1001.2014.3001.5501