深入解析RDMA中的队列对（QueuePair）

### 深入解析RDMA中的队列对（Queue Pair）

#### 基本概念回顾

队列对（Queue Pair，简称QP）是RDMA中连接硬件和软件的重要虚拟接口。它由发送队列（SQ）和接收队列（RQ）组成，用于存储软件下发给硬件的任务（WQE）。每个QP独立运作，彼此通过保护域（PD）隔离，确保一个QP可以被视为某个用户的独占资源。

QP支持多种服务类型，如可靠连接（RC）、不可靠数据报（UD）、可靠数据报（RD）和不可靠连接（UC）。所有源QP和目的QP必须为同一种类型才能进行数据交互。

#### 硬件与软件实现

从硬件角度看，QP是一段包含若干个WQE的存储空间，IB网卡会从中读取任务并执行相应的内存操作。这段存储空间可以位于内存或IB网卡的片内存储器中，具体实现由厂商决定。

从软件角度看，QP是由IB网卡驱动程序维护的数据结构，包含QP的地址指针及相关的属性信息。

#### QPC的作用

QPC（Queue Pair Context）是存储QP相关属性的数据结构，主要用于软硬件之间的同步。硬件只知道QP存储空间的起始地址和大小，而具体的WQE数量、当前处理位置等信息则由QPC提供。因此，QPC在硬件和驱动程序之间起到了桥梁作用。

#### QPN的分配机制

QPN（Queue Pair Number）是每个QP的唯一标识符，用24位表示，理论上每个节点最多可拥有16777216个QP。不同节点上的QP编号可以重复，但同一节点内的QP编号必须唯一。

有两个特殊的保留编号：

- **QP0**：用于子网管理接口（SMI），负责管理和配置子网中的所有节点。
- **QP1**：用于通用服务接口（GSI），主要用于通信建立前的信息交换。

#### 用户接口

用户接口分为控制面和数据面两部分。

- **控制面**：涉及QP的创建、销毁、修改和查询。常用的Verbs接口包括`ibv_create_qp`、`ibv_destroy_qp`、`ibv_modify_qp`和`ibv_query_qp`。
- **数据面**：涉及发送和接收请求的提交，即`Post Send Request`和`Post Receive Request`。这些操作允许用户向QP中填写WQE以发起或响应通信。

#### QP状态机

QP的状态机描述了QP的不同状态及其转换条件。主要状态包括：

- **RST（Reset）**：初始复位状态，QP无法接收或发送消息。
- **INIT（Initialized）**：已初始化状态，只能接收但不会处理消息。
- **RTR（Ready to Receive）**：准备接收状态，可以正常处理接收到的消息。
- **RTS（Ready to Send）**：准备发送状态，可以正常发送消息。
- **SQD（Send Queue Drain）**：发送队列排空状态，处理完现有WQE后才能处理新的请求。
- **SQEr（Send Queue Error）**：发送队列错误状态，当某个Send WR发生错误时进入此状态。
- **ERR（Error）**：错误状态，QP停止处理WQE，需修复后再重新初始化。

#### 总结

本文详细介绍了QP的基本概念、硬件与软件实现、QPC的作用、QPN的分配机制以及用户接口和状态机。作为RDMA的核心组件，QP的内容丰富且复杂，后续文章将继续深入探讨相关主题，如CQ等。