DPDK在Linux用户级执行环境中执行EAL

关机和清理

在EAL初始化期间&＃xff0c;核心组件可以分配诸如大页支持的内存之类的资源。rte_eal_init() 通过调用该rte_eal_cleanup()函数可以释放在分配期间分配的内存。有关详细信息&＃xff0c;请参阅API文档。

多进程支持

Linux EAL允许多进程以及多线程&＃xff08;pthread&＃xff09;部署模型。有关更多详细信息&＃xff0c;请参见多进程支持一章 。

内存映射发现和内存保留

大型连续物理内存的分配是使用hugetlbfs内核文件系统完成的。EAL提供了一个API&＃xff0c;可以在此连续内存中保留命名的内存区域。该存储区的保留内存的物理地址也由存储区保留API返回给用户。

DPDK内存子系统可以在两种模式下运行&＃xff1a;动态模式和旧模式。两种模式在下面说明。

• 动态记忆模式

当前&＃xff0c;仅在Linux上支持此模式。

在这种模式下&＃xff0c;DPDK应用程序对大页面的使用将根据应用程序的请求而增加和减少。任何内存分配通过rte_malloc()&＃xff0c; rte_memzone_reserve()或其它方法&＃xff0c;可能潜在地导致更大页面正在从系统预留。同样&＃xff0c;任何内存重新分配都可能导致大页面释放回系统。

不能保证在此模式下分配的内存是IOVA连续的。如果需要大块的IOVA连续块&＃xff08;“大”块定义为“一页以上”&＃xff09;&＃xff0c;建议对所有物理设备使用VFIO驱动程序&＃xff08;这样IOVA和VA地址可以相同&＃xff0c;从而绕过&＃xff09;完整的物理地址&＃xff09;&＃xff0c;或使用旧版内存模式。

对于必须是IOVA连续的内存块&＃xff0c;建议使用 rte_memzone_reserve()带有RTE_MEMZONE_IOVA_CONTIG指定标志的函数。这样&＃xff0c;内存分配器将确保无论使用哪种内存模式&＃xff0c;保留的内存都将满足要求&＃xff0c;否则分配将失败。

无需在启动时使用-m或 --socket-mem命令行参数预分配任何内存&＃xff0c;但是仍然可以这样做&＃xff0c;在这种情况下&＃xff0c;预分配内存将被“固定”&＃xff08;即&＃xff0c;应用程序永远不会释放回系统&＃xff09; 。可以分配更多的大页面&＃xff0c;然后将其取消分配&＃xff0c;但是任何预分配的页面都不会被释放。如果既未指定也-m未--socket-mem指定&＃xff0c;则不会预先分配内存&＃xff0c;并且将根据需要在运行时分配所有内存。

在动态内存模式下使用的另一个可用选项是 --single-file-segments命令行选项。此选项会将页面放在单个文件中&＃xff08;每个memseg列表&＃xff09;&＃xff0c;而不是每页创建一个文件。通常不需要这样做&＃xff0c;但是对于诸如userspace vhost之类的用例很有用&＃xff0c;在这些用例中&＃xff0c;可以传递给VirtIO的页面文件描述符数量有限。

如果应用程序&＃xff08;或DPDK内部代码&＃xff0c;例如设备驱动程序&＃xff09;希望接收有关新分配的内存的通知&＃xff0c;则可以通过rte_mem_event_callback_register()函数注册内存事件回调。每当DPDK的内存映射已更改时&＃xff0c;它将调用回调函数。

如果应用程序&＃xff08;或DPDK内部代码&＃xff0c;例如设备驱动程序&＃xff09;希望收到有关指定阈值以上的内存分配的通知&＃xff08;并有机会拒绝它们&＃xff09;&＃xff0c;则也可以通过rte_mem_alloc_validator_callback_register()函数使用分配验证程序回调 。

EAL提供了一个默认的验证程序回调&＃xff0c;可以通过--socket-limit命令行选项启用它 &＃xff0c;以一种简单的方式来限制DPDK应用程序可以使用的最大内存量。

• 旧版内存模式

通过将--legacy-mem命令行开关指定为EAL 启用此模式。此开关对FreeBSD无效&＃xff0c;因为无论如何FreeBSD仅支持传统模式。

此模式模仿EAL的历史行为。也就是说&＃xff0c;EAL将在启动时保留所有内存&＃xff0c;将所有内存分类为大的IOVA连续块&＃xff0c;并且不允许在运行时从系统获取或释放大页面。

如果既未指定也-m未--socket-mem指定&＃xff0c;则整个可用的大页内存将被预先分配。

• 大页分配匹配

通过指定--match-allocations到EAL 的命令行开关来启用此行为。此开关仅适用于Linux&＃xff0c;并且--legacy-memnor 不支持 --no-huge。

某些使用内存事件回调的应用程序可能需要完全释放分配的大页。这些应用程序可能还要求来自malloc堆的任何分配都不能跨越与两个不同的内存事件回调相关联的分配。这些类型的应用程序可以使用大页分配匹配来满足这两个要求。这可能会导致某些内存使用量增加&＃xff0c;这在很大程度上取决于应用程序的内存分配模式。

• 32位支持

在32位模式下运行时&＃xff0c;存在其他限制。在动态内存模式下&＃xff0c;默认情况下最多将预分配2 GB的VA空间&＃xff0c;并且所有空间都将位于主lcore NUMA节点上&＃xff0c;除非使用了--socket-mem标志。

在传统模式下&＃xff0c;只会为请求的段预分配VA空间&＃xff08;加上填充以保持IOVA连续性&＃xff09;。

• 最大内存量

在启动时会预先分配可用于DPDK进程中的大页映射的所有可能的虚拟内存空间&＃xff0c;从而对DPDK应用程序可以拥有的内存量设置上限。DPDK内存存储在段列表中&＃xff0c;每个段严格是一个物理页。通过编辑以下配置变量&＃xff0c;可以更改启动时预分配的虚拟内存量&＃xff1a;

• CONFIG_RTE_MAX_MEMSEG_LISTS 控制DPDK可以拥有多少段列表
• CONFIG_RTE_MAX_MEM_MB_PER_LIST 控制每个段列表可以处理多少兆字节的内存
• CONFIG_RTE_MAX_MEMSEG_PER_LIST 控制每个段可以有多少段
• CONFIG_RTE_MAX_MEMSEG_PER_TYPE 控制每种内存类型可以具有多少段&＃xff08;其中“类型”定义为“页面大小&＃43; NUMA节点”组合&＃xff09;
• CONFIG_RTE_MAX_MEM_MB_PER_TYPE 控制每种内存类型可以寻址多少兆字节的内存
• CONFIG_RTE_MAX_MEM_MB 将全局最大值放在DPDK可以保留的内存量上

通常&＃xff0c;这些选项不需要更改。

• 段文件描述符

在Linux上&＃xff0c;大多数情况下&＃xff0c;EAL会将段文件描述符存储在EAL中。当使用较小的页面大小时&＃xff0c;由于glibc库的基本限制&＃xff0c;这可能会成为问题。例如&＃xff0c;Linux API调用之类的select()可能无法正常工作&＃xff0c;因为glibc它不支持超过一定数量的文件描述符。

有两种可能的解决方案。推荐的解决方案是使用--single-file-segments模式&＃xff0c;因为该模式将不会在每个页面上使用文件描述符&＃xff0c;并且它将与带有vhost-user后端的Virtio保持兼容性。使用--legacy-mem 模式时此选项不可用。

另一种选择是使用更大的页面尺寸。由于需要较少的页面来覆盖相同的内存区域&＃xff0c;因此EAL将在内部存储较少的文件描述符。

支持外部分配的内存

可以在DPDK中使用外部分配的内存。使用外部分配的内存有两种工作方式&＃xff1a;malloc堆API和手动内存管理。

• 使用堆API来为外部分配的内存

建议使用一组malloc堆API&＃xff0c;以在DPDK中使用外部分配的内存。这样&＃xff0c;通过重载套接字ID来实现对外部分配的内存的支持-外部分配的堆将具有套接字ID&＃xff0c;在正常情况下&＃xff0c;这些套接字ID将被视为无效。请求从指定的外部分配内存中进行分配是一个直接&＃xff08;例如通过调用rte_malloc&＃xff09;或间接&＃xff08;通过特定于数据结构的分配API&＃xff09; 向DPDK分配器提供正确的套接字ID的问题rte_ring_create。使用这些API还可以确保为添加到DPDK malloc堆的任何内存段也执行DMA的外部分配内存的映射。

由于DPDK无法验证内存是否可用或有效&＃xff0c;因此该责任由用户承担。所有多进程同步也是用户的责任&＃xff0c;并确保所有添加/附加/分离/删除内存的调用均以正确的顺序进行。不需要在所有过程中都附加到存储区-仅在需要时附加到存储区。

预期的工作流程如下&＃xff1a;

• 获取指向存储区的指针

• 创建一个命名堆

• 将内存区域添加到堆

  • 如果未指定IOVA表&＃xff0c;则将假定IOVA地址不可用&＃xff0c;并且将不执行DMA映射
  • 其他进程必须先附加到内存区域&＃xff0c;然后才能使用它

• 获取用于堆的套接字ID

• 使用提供的套接字ID使用正常的DPDK分配过程

• 如果不再需要内存区域&＃xff0c;则可以将其从堆中删除

  • 必须先从此内存区域分离其他进程&＃xff0c;然后才能将其删除

• 如果不再需要堆&＃xff0c;请将其删除

  • 套接字ID将变为无效&＃xff0c;并且将不会重用

有关更多信息&＃xff0c;请参阅rte_mallocAPI文档&＃xff0c;特别rte_malloc_heap_*是函数调用系列。

• 使用没有DPDK API的外部分配的内存

建议使用堆API&＃xff0c;在DPDK中使用外部分配的内存&＃xff0c;但在某些用例中&＃xff0c;DPDK堆API的开销是不希望的-例如&＃xff0c;在外部分配的区域执行手动内存管理时。为了支持在外部DPDK工作流中不使用外部分配的内存的用例&＃xff0c;rte_extmem_*命名空间下还有另一组API 。

这些API&＃xff08;顾名思义&＃xff09;旨在允许向DPDK的内部页表注册或从DPDK的内部页表中注销外部分配的内存&＃xff0c;以允许API rte_mem_virt2memseg等与外部分配的内存一起使用。以这种方式添加的内存将不适用于任何常规DPDK分配器&＃xff1b;DPDK将保留此内存供用户应用程序管理。

预期的工作流程如下&＃xff1a;

• 获取指向存储区的指针

• 在DPDK中注册内存

  • 如果未指定IOVA表&＃xff0c;则将假定IOVA地址不可用
  • 其他进程必须先附加到内存区域&＃xff0c;然后才能使用它

• rte_dev_dma_map根据需要执行DMA映射

• 在应用程序中使用存储区

• 如果不再需要存储区&＃xff0c;则可以取消注册

  • 如果该区域是为DMA映射的&＃xff0c;则必须在取消注册内存之前执行取消映射
  • 其他进程必须与存储区分离&＃xff0c;然后才能取消注册

由于这些外部分配的存储区域将不受DPDK的管理&＃xff0c;因此&＃xff0c;由用户应用程序决定如何注册它们以及如何使用它们。

每个核心和共享变量

共享变量是默认行为。每线程核心变量是使用线程本地存储&＃xff08;TLS&＃xff09;实现的&＃xff0c;以提供每线程本地存储。

日志

EAL提供了一个日志记录API。默认情况下&＃xff0c;在Linux应用程序中&＃xff0c;日志既发送到syslog&＃xff0c;也发送到控制台。但是&＃xff0c;用户可以覆盖日志功能以使用其他日志记录机制。

CPU功能识别

EAL可以在运行时查询CPU&＃xff08;使用rte_cpu_get_features&＃xff08;&＃xff09;函数&＃xff09;以确定哪些CPU功能可用。

用户空间中断事件

• 主机线程中的用户空间中断和警报处理

EAL创建一个主机线程以轮询UIO设备文件描述符以检测中断。回调可以由EAL函数针对特定的中断事件进行注册或取消注册&＃xff0c;并在主机线程中异步调用。EAL还允许以与NIC中断相同的方式使用定时回调。

• RX中断事件

每个PMD提供的接收和发送例程不会限制自己以轮询线程模式执行。为了以极小的吞吐量缓解空闲轮询&＃xff0c;暂停轮询并等待唤醒事件发生是很有用的。RX中断是发生此类唤醒事件的首选&＃xff0c;但可能并非唯一。

EAL为此事件驱动的线程模式提供了事件API。以Linux为例&＃xff0c;其实现依赖于epoll。每个线程可以监视一个epoll实例&＃xff0c;在该实例中添加了所有唤醒事件的文件描述符。根据UIO / VFIO规范创建事件文件描述符并将其映射到中断向量。从FreeBSD的角度来看&＃xff0c;kqueue是替代方法&＃xff0c;但尚未实现。

EAL初始化事件文件描述符和中断向量之间的映射&＃xff0c;而每个设备初始化中断向量和队列之间的映射。这样&＃xff0c;EAL实际上不知道特定向量上的中断原因。eth_dev驱动程序负责编程后面的映射。

RX中断由ethdev API-&＃39;rte_eth_dev_rx_intr_ *&＃39;控制/启用/禁用。如果PMD还不支持它们&＃xff0c;它们将返回失败。intr_conf.rxq标志用于打开每个设备的RX中断功能。

• 设备移除事件

该事件由在总线级别卸下设备触发。它的基础资源可能已变得不可用&＃xff08;即&＃xff0c;未映射PCI映射&＃xff09;。PMD必须确保在这种情况下&＃xff0c;应用程序仍可以安全地使用其回调。

可以按照订阅链接状态更改事件的相同方式来订阅此事件。因此&＃xff0c;执行上下文是相同的&＃xff0c;即它是专用的中断主机线程。

考虑到这一点&＃xff0c;应用程序很可能希望关闭已发出设备移除事件的设备。在这种情况下&＃xff0c;调用 rte_eth_dev_close()可以触发它取消注册自己的设备删除事件回调。必须注意不要从中断处理程序上下文中关闭设备。必须重新计划这种关闭操作。

黑名单

EAL PCI设备黑名单功能可用于将某些NIC端口标记为黑名单&＃xff0c;因此DPDK将忽略它们。使用PCIe *描述&＃xff08;Domain&＃xff1a;Bus&＃xff1a;Device.Function&＃xff09;标识要列入黑名单的端口。

杂项功能

锁和原子操作是基于体系结构的&＃xff08;i686和x86_64&＃xff09;。

IOVA模式检测

通过考虑系统上当前可用的设备需要和/或支持的内容来选择IOVA模式。

在FreeBSD上&＃xff0c;RTE_IOVA_PA始终是默认值。在Linux上&＃xff0c;基于下面详细介绍的两步启发式检测IOVA模式。

第一步&＃xff0c;EAL向每个总线询问有关IOVA模式的要求&＃xff0c;然后确定首选的IOVA模式。

• 如果所有总线都报告RTE_IOVA_PA&＃xff0c;则首选的IOVA模式为RTE_IOVA_PA&＃xff0c;
• 如果所有总线都报告RTE_IOVA_VA&＃xff0c;则首选的IOVA模式为RTE_IOVA_VA&＃xff0c;
• 如果所有总线都报告RTE_IOVA_DC&＃xff0c;则没有总线表示优先&＃xff0c;则首选模式为RTE_IOVA_DC&＃xff0c;
• 如果总线不同意&＃xff08;至少一个总线需要RTE_IOVA_PA&＃xff0c;至少一个总线需要RTE_IOVA_VA&＃xff09;&＃xff0c;则首选的IOVA模式为RTE_IOVA_DC&＃xff08;请参阅下面的“物理地址可用性”检查&＃xff09;&＃xff0c;

如果总线未表示要选择哪种IOVA模式&＃xff0c;则使用以下逻辑选择默认值&＃xff1a;

• 如果物理地址不可用&＃xff0c;则使用RTE_IOVA_VA模式
• 如果/ sys / kernel / iommu_groups不为空&＃xff0c;则使用RTE_IOVA_VA模式
• 否则&＃xff0c;使用RTE_IOVA_PA模式

如果总线在其首选的IOVA模式上存在分歧&＃xff0c;则由于该决定&＃xff0c;部分总线将无法工作。

第二步检查首选模式是否符合“物理地址”可用性&＃xff0c;因为这些仅适用于最新内核中的root用户。即&＃xff0c;如果首选模式是RTE_IOVA_PA&＃xff0c;但是无法访问物理地址&＃xff0c;则EAL初始化会尽早失败&＃xff0c;因为以后对设备的探测仍然会失败。

IOVA模式配置

当存在未直接连接到总线的虚拟设备时&＃xff0c;基于探测总线和IOMMU配置的IOVA模式自动检测可能不会报告所需的寻址模式。为了便于将IOVA模式强制为特定值&＃xff0c;--iova-mode可以使用EAL命令行选项来选择物理寻址&＃xff08;&＃39;pa&＃39;&＃xff09;或虚拟寻址&＃xff08;&＃39;va&＃39;&＃xff09;。