如何用ndctl/ipmctl管理工具配置不同访问模式的pmem设备

下文中提到的创建命令都是在 centos上进行的&＃xff0c;不过ipmctl/ndctl/fio 这种基础命令使用方式都是一样的&＃xff0c;可能就是安装这一些工具的命令和其他的系统有一些差异。

1 PMEM 底层架构

PMEM 的存储介质是 3D Xpoint &＃xff0c;其底层存储单元是PCM&＃xff08;phase change memory 即相变内存&＃xff09;&＃xff0c;这也是pmem 物理存储和传统的 NAND SSD最大的差异。但其和Optane NVMe SSD 最大的差异则是物理接口的不同&＃xff0c;一个是PCIe接口(nvme ssd)&＃xff0c;一个是DIMM 接口(pmem)。 关于 NAND和3D XPoint 的物理差异可以通过从NMOS 和 PCM 底层存储单元 来看NAND和3D XPoint的本质区别 来了解一下。

那我们先看看 PMEM 的底层物理形态&＃xff0c;这是我们的NUMA 下的cpu和内存插槽的分布。
其中蓝色区域是DRAM 插槽&＃xff0c;黑色插槽可以插PMEM 存储介质。
需要注意的是&＃xff1a;

1. 对于每一个CPU而言&＃xff0c;PMEM 介质应该插在每组&＃xff08;一蓝一黑两个算一组&＃xff09;靠近CPU的那一个槽中&＃xff0c;即黑色的插槽&＃xff1b;另一个槽插入DRAM。
2. 使用App Direct Mode 的时候每组槽中的PMEM 可以不搭配DRAM&＃xff1b;使用Memory Mode 的时候&＃xff0c;每组槽中的PMEM必须搭配DRAM&＃xff0c;否则无法配置成MemoryMode 模式使用。
3. 必须要确保每个CPU两边的 pmem 介质个数相等&＃xff1b;而不同组 CPU 各自的PMEM数量可以不同&＃xff0c;造成的结果就是两个region 显示的容量不同。

查看当前系统DRAM 和 pmem 的拓扑结构

# 需要root 用户执行
$ ipmctl show -topologyDimmID | MemoryType | Capacity | PhysicalID| DeviceLocator
&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;0x0001 | Logical Non-Volatile Device | 126.375 GiB | 0x0021 | DIMM 60x0011 | Logical Non-Volatile Device | 126.375 GiB | 0x0023 | DIMM 40x0101 | Logical Non-Volatile Device | 126.375 GiB | 0x0027 | DIMM 70x0111 | Logical Non-Volatile Device | 126.375 GiB | 0x0029 | DIMM 90x1001 | Logical Non-Volatile Device | 126.375 GiB | 0x002d | DIMM 180x1011 | Logical Non-Volatile Device | 126.375 GiB | 0x002f | DIMM 160x1101 | Logical Non-Volatile Device | 126.375 GiB | 0x0033 | DIMM 190x1111 | Logical Non-Volatile Device | 126.375 GiB | 0x0035 | DIMM 21N/A | DDR4 | 32.000 GiB | 0x0020 | DIMM 5N/A | DDR4 | 32.000 GiB | 0x0022 | DIMM 3N/A | DDR4 | 32.000 GiB | 0x0024 | DIMM 1N/A | DDR4 | 32.000 GiB | 0x0026 | DIMM 8N/A | DDR4 | 32.000 GiB | 0x0028 | DIMM 10N/A | DDR4 | 32.000 GiB | 0x002a | DIMM 12N/A | DDR4 | 32.000 GiB | 0x002c | DIMM 17N/A | DDR4 | 32.000 GiB | 0x002e | DIMM 15N/A | DDR4 | 32.000 GiB | 0x0030 | DIMM 13N/A | DDR4 | 32.000 GiB | 0x0032 | DIMM 20N/A | DDR4 | 32.000 GiB | 0x0034 | DIMM 22N/A | DDR4 | 32.000 GiB | 0x0036 | DIMM 24


2 PMEM 逻辑架构

这里介绍两种 用于组织插在DIMM 插槽之上的逻辑分离存储形态 region 和 namespace。

• region &＃xff1a; 用来组织pmem module的逻辑概念。一个region 中可以有一个或者多个pmem module&＃xff08;插在DIMM 上的pmem 存储介质&＃xff09;。当前支持的region 模式有两种&＃xff1a; interleave 和 non-interleave 的&＃xff1b;其中interleave 模式是一个region 可以跨当前CPU的多个 DIMM&＃xff0c;non-interleave 模式则是一个region 只能在一个DIMM 上。
• namespace: 是一段 on pmem 的 可连续寻址的地址范围&＃xff0c;类似于硬盘分区 或者 SCSI的逻辑单元(LUN) 或者 NVMe 的namespace。只有在 创建的region 模式是 AppDirect 模式时才能在region 上创建namespace。

除了以上两个主要的 对pmem 操作的逻辑分区之外&＃xff0c;还有几个概念需要了解&＃xff1a;

• Label : 每一个pmem module(pmem 存储介质) 都包涵一个 Label Storage Area(LBA) 区域&＃xff0c;用来存储namespace 的元数据配置。这样&＃xff0c;就可以在region 上创建不同类型的namespace 来支持针对pmem 的不同访问模式。
• DAX&＃xff1a;Direct Access。pmem 在AppDirect 模式下 通过namespace 创建的 不同类型的设备可以为用户提供 device access 以及 fs access的访问模式。在fs access 下 通过支持DAX 模式的文件系统(xfs, ext4, on windows ntfs)来 最大程度得缩短访问pmem的路径&＃xff0c;访问的过程都是通过mmap 来进行的&＃xff0c;能够by-pass page-cache, i/o subsystem 以及 中断和上下文切换。

下面是 non-interleaved regions 和 interleaved region 以及 on interleave region下的namespaces。

关于pmem 编程架构形态如下&＃xff1a;

其中namespace 支持的四种模式 可以匹配到上面针对 NVM-DIMMS 的访问形态中了&＃xff1a;

1. raw: 就是一个内存盘的形态来直接访问&＃xff0c;不支持DAX 模式的访问。
2. sector: 可以作为一个传统的块设备 以及 on 块设备的文件系统&＃xff0c;且这个文件系统不限制类型&＃xff08;任意文件系&＃xff0c;不需要dax支持&＃xff09;。可以允许按字节访问&＃xff0c;但是不能保证访问的原子性。
3. fsdax: 需要 pmem-aware filter system支持&＃xff0c;即支持dax 挂载的文件系统&＃xff0c;这样该namespace 可以通过标准文件接口读写 &＃xff0c;同时也支持 通过pmdk 来访问。这个namespace 类型 是大多数的appdirect 模式下的持久内存使用方式。
4. devdax: 允许通过 mmap 直接将指定容量的 pmem 介质映射到内存进行访问&＃xff0c;这个devdax 模式的namespace 被创建出来之后不能像其他的块设备一样创建dax文件系统&＃xff0c;它被映射出来之后是一个字符设备形态(/dev/dax3.0 这种)。这种模式一般用作虚拟机&＃xff0c;RDMA 以及 大页映射。

到此&＃xff0c;我们大体就清楚了PMEM 的逻辑架构 &＃xff0c;如何通过 逻辑 region 组织物理上的 DIMMS&＃xff0c;以及如何在逻辑region之上构建数据分离存储的namespaces。

接下来我们看看如果通过 pmem的 management tools 来组合这一些逻辑架构&＃xff0c;构建丰富的pmem 使用形态。

3 ipmctl 创建 不同模式的 region

如果你的环境中已经有了pmem设备(直接可用的文件系统形态的pmem)&＃xff0c;可以直接跳过这一个工具的介绍&＃xff0c;看下一个 ndctl工具。

3.1 安装

这个工具是构建pmem region的底层工具&＃xff0c;建议安装的时候让其版本在2.x 及以上。
直接源码编译安装即可&＃xff1a;

git clone https://github.com/pmem/ndctl.git
cd ndctl
./autogen.sh
./configure CFLAGS&＃61;&＃39;-g -O2&＃39; --prefix&＃61;/usr --sysconfdir&＃61;/etc --libdir&＃61;/usr/lib64
make
make check
sudo make install


安装完成之后记得更新一下PATH&＃xff0c;否则命令行会找不到这个工具export PATH&＃61;$PATH:/usr/local/bin。

需要注意一个问题&＃xff0c;就是如果你的ipmctl 最开始的版本比较低&＃xff0c;可能会导致最后创建的interleaved 模式的 region 无法创建混合模式的namespaces&＃xff0c;这个issue 解决可以参考 https://github.com/pmem/ndctl/issues/181。

关于ipmctl 工具的使用都需要在root 模式下执行

3.2 创建AppDirect mode的region

1. 查看当前已有mode

   # ipmctl show -memoryresourcesMemoryType | DDR | PMemModule | Total
&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;
Volatile | 384.000 GiB | 0.000 GiB | 384.000 GiB
AppDirect | - | 1008.000 GiB | 1008.000 GiB
Cache | 0.000 GiB | - | 0.000 GiB
Inaccessible | 0.000 GiB | 3.377 GiB | 3.377 GiB
Physical | 384.000 GiB | 1011.377 GiB | 1395.377 GiB


   上面这个是AppDirectmode

2. 创建AppDirect mode&＃xff0c;这个命令会将当前的所有容量默认创建出interleaved mode的 region

   # ipmctl create -goal PersistentMemoryType&＃61;AppDirect
The following configuration will be applied:SocketID | DimmID | MemorySize | AppDirect1Size | AppDirect2Size
&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;0x0000 | 0x0001 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0000 | 0x0011 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0000 | 0x0101 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0000 | 0x0111 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0001 | 0x1001 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0001 | 0x1011 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0001 | 0x1101 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0001 | 0x1111 | 0.000 GiB | 126.000 GiB | 0.000 GiB
Do you want to continue? [y/n] y
Created following region configuration goalSocketID | DimmID | MemorySize | AppDirect1Size | AppDirect2Size
&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;0x0000 | 0x0001 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0000 | 0x0011 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0000 | 0x0101 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0000 | 0x0111 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0001 | 0x1001 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0001 | 0x1011 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0001 | 0x1101 | 0.000 GiB | 126.000 GiB | 0.000 GiB0x0001 | 0x1111 | 0.000 GiB | 126.000 GiB | 0.000 GiB
A reboot is required to process new memory allocation goals.
# reboot -n


   如果 想创建non-interleaved 模式的region&＃xff0c;则可以执行命令&＃xff1a;
   ipmctl create -goal PersistentMemoryType&＃61;AppDirectNotInterleaved

3.3 创建 Memory Mode模式

其中 MemoryMode 是一个百分比&＃xff0c;如果是100的话则表示当前所有的pmem module 容量都会作为memory mode。

# ipmctl create -goal MemoryMode&＃61;100
# reboot


重启之后&＃xff0c;查看free -h 时能够看到内存的容量已经加上了所有的 pmem module 的容量了

3.4 创建 混合模式

创建内存模式的时候 有一个参数 MemoryMode 用来指定百分比&＃xff0c;显而易见 我们可以在一个机器上让一部分的容量作为AppDirect 模式。
比如配置 50% 的容量为 memory mode 即可

# ipmctl create -goal MemoryMode&＃61;50


以上过程中如果想要清理所有的 config&＃xff0c;可以通过 ipmctl delete –goal 。

3.5 查看创建的结果

1. 查看 goal ipmctl show -goal
2. 查看regions ipmctl show -region
3. 查看内存资源情况 ipmctl show -memoryresources
4. 查看 dimms 分布 ipmctl show -dimms

4 ndctl 创建不同类型的 namespaces

ndctl 的创建/删除/更新 namespace 需要root权限&＃xff0c;查看namepace 信息则不需要root

4.1 安装

ndctl 的安装则不是很方便&＃xff0c;如果系统库不全的话可能遇到的问题会比较多&＃xff0c;我将我的安装完整过程贴下来&＃xff1a;

1. 前置库安装

   sudo yum install autoconf pkg-config libndctl-devel libdaxctl-devel pandoc -y


2. 安装过程

   git clone https://github.com/pmem/ndctl.git
cd ndctl
git checkout v71 # 当前的最新版本./autogen.shActivated pre-commit hook.GIT_VERSION &＃61; 71sh: aclocal: command not foundautoreconf: aclocal failed with exit status: 127 # 执行失败
----------------------------------------------------# 解决
sudo yum install automake libtool -y
autoreconf -ivf# 执行成功
$ ./autogen.sh
----------------------------------------------------------------
Initialized build system. For a common configuration please run:
----------------------------------------------------------------
./configure CFLAGS&＃61;&＃39;-g -O2&＃39; --prefix&＃61;/usr --sysconfdir&＃61;/etc --libdir&＃61;/usr/lib64# 执行./configure
./configure CFLAGS&＃61;&＃39;-g -O2&＃39; --prefix&＃61;/usr --sysconfdir&＃61;/etc --libdir&＃61;/usr/lib64
...
checking for a sed that does not truncate output... (cached) /usr/bin/sed
checking for asciidoctor... missing
configure: error: asciidoctor needed to build documentation # 执行失败
----------------------------------------------------# 解决
sudo yum install asciidoctor -y# 重新执行 ./configure
./configure CFLAGS&＃61;&＃39;-g -O2&＃39; --prefix&＃61;/usr --sysconfdir&＃61;/etc --libdir&＃61;/usr/lib64
...
checking for KMOD... no
configure: error: Package requirements (libkmod) were not met:No package &＃39;libkmod&＃39; foundConsider adjusting the PKG_CONFIG_PATH environment variable if you
installed software in a non-standard prefix # 执行失败
----------------------------------------------------#解决
sudo yum install kmod kmod-devel -y# 再次重新执行 ./configure
./configure CFLAGS&＃61;&＃39;-g -O2&＃39; --prefix&＃61;/usr --sysconfdir&＃61;/etc --libdir&＃61;/usr/lib64
...
configure: error: Package requirements (uuid) were not met:No package &＃39;uuid&＃39; found #执行失败
----------------------------------------------------#解决
sudo yum install libuuid-devel json-c-devel -y# 执行./configure 成功&＃xff0c;生成 Makefile
./configure CFLAGS&＃61;&＃39;-g -O2&＃39; --prefix&＃61;/usr --sysconfdir&＃61;/etc --libdir&＃61;/usr/lib64
# 安装ndctl
make && sudo make install


4.2 创建/删除 一个任意类型的namespace

1. 查看已有的namespaces ndctl list --namespaces --regions
   能够展示所有创建好的可用的 namespace 以及其所属的 region信息完整打印出来。
2. 创建一个namespace&＃xff0c;如果不指定namespace 类型的话默认创建的是raw 类型

   ndctl create-namespace --force


3. 删除一个namespace 的话 可以通过 ndctl destroy-namespace namespace1.0 --force 或者 不指定具体的某一个namespace&＃xff0c;直接--all 即可删除所有的namespaces&＃xff0c;需要注意的是删除namespace 会清理掉当前namespace的所有数据。

4.3 指定类型 创建 namespaces

1. 创建一个fsdax 类型的namespace

   ndctl create-namespace --mode&＃61;fsdax --size&＃61;100G --region&＃61;region0 --force


   指定在region0 上创建一个100G容量的 fsdax 模式namespace&＃xff0c;创建成功则可以在lsblk 命令下看到这个块设备/dev/pmem0。
   除了以上参数&＃xff0c;还可以指定一个比较重要的配置--map&＃61;dev或者--map&＃61;mem&＃xff0c;保存当前namespace 的元数据信息&＃xff0c;大概是每4k 需要64B的存储。dev和mem 分别制定的是将这部分元数据存放在pmem设备上 或者 内存中。

2. 上一条命令的基础上 在region0 创建一个devdax 模式的namespace

   ndctl create-namespace --mode&＃61;devdax --size&＃61;100G --region&＃61;region0 --force


   创建好之后能ls -l /dev/dax1.0看到这个设备&＃xff0c;它是一个字符设备。

   如果这一步失败&＃xff0c;可以根据这个 issue 尝试解决&＃xff1a;https://github.com/pmem/ndctl/issues/181

这样创建出来的namespace 对应的 region 以及 dimm 关系图如下&＃xff1a;

4.4 变更已有namespace 类型

变更namespace1.0 的配置&＃xff0c;从fsdax 模式变更为 devdax模式
ndctl create-namespace --mode&＃61;devdax --size&＃61;100G --reconfig&＃61;namespace1.0。

注意&＃xff1a;
reconfig 的流程会

1. 先从已有的namespace中读取 元数据信息
2. 然后删除已有的namespace&＃xff0c;这一步会清理所有的数据
3. 根据reconfig 的配置重新创建namespace

更多的创建信息&＃xff0c;可以参考https://pmem.io/ndctl/ndctl-create-namespace.html

5 namespace 的应用

这里就很简单了&＃xff0c;主要是针对fsdax 设备的使用
通过fsdax 模式创建出来的 一个块设备可以直接格式化成dax 支持的文件系统 并挂载&＃xff1a;

sudo mkfs.xfs -f /dev/pmem0
sudo mount -o dax /dev/pmem0 /mnt/pmem0


此时即可使用文件接口进行读写。

6 fio测试 fsdax 和 devdax

建议测试的fio 版本直接使用最新的3.17&＃xff0c;这样能够使用比较新的ioengine (libpmem/dev-dax)

1. 测试fsdax

   以下绑定的numa 不一定准确&＃xff0c;可以通过lscpu 查看numa的cpu&＃xff0c;随便绑定一个&＃xff0c;哪个性能好 则当前namespace 的region 就在哪个 numa上。

   [global]
ioengine&＃61;libpmem #pmem引擎
direct&＃61;1
norandommap&＃61;1
randrepeat&＃61;0
runtime&＃61;60
time_based
size&＃61;1G
directory&＃61;./fio
group_reporting
[read256B-rand]
bs&＃61;256B
rw&＃61;randread
numjobs&＃61;32
iodepth&＃61;4
cpus_allowed&＃61;0-15,16-31 #绑定numa


   当然&＃xff0c;也有更准确的方法来找到当前pmem属于哪个numa.

   1. ndctl list --regions --namespaces 查看当前的 /dev/pmem0 属于哪一个region
   2. ipmctl show -region 查看当前的region 属于哪一个socket&＃xff0c;0 则是numa node0, 1 则是numa node1等

2. 测试devdax&＃xff0c;不支持direct开启&＃xff0c;直接访问的字符设备

   [global]
ioengine&＃61;dev-dax
direct&＃61;0
norandommap&＃61;1
randrepeat&＃61;0
runtime&＃61;60
time_based
size&＃61;1G
filename&＃61;/dev/dax1.0 #直接指定filename 为devdax模式的字符设备即可
group_reporting
[read256B-rand]
bs&＃61;256B
rw&＃61;randread
numjobs&＃61;32
iodepth&＃61;4
cpus_allowed&＃61;0-15,16-31 #绑定numa


到此已经完整得告诉了各位如何 从0到1 在一台服务器上创建一个混合模式的pmem 并做相关的应用 和测试&＃xff0c;踩过的坑 希望能帮助各位节省一些时间&＃xff0c;当然&＃xff0c;更重要的是能够从宏观的角度中更进一步得了解pmem 设备 及其周边生态&＃xff0c;毕竟是未来的高性能存储趋势。

7 参考

1. Introduction to Persistent Memory Configuration and Analysis Tools
2. Persistent Memory Provisioning Introduction
3. support virtual persistent memory
4. https://pmem.io/ndctl/
5. https://nvdimm.wiki.kernel.org/
6. NDCTL Introduction
7. PMEM 主机安装环境详解