Longhorn，企业级云原生容器分布式存储支持ReadWriteMany(RWX)工作负载（实验性功能）...

内容来源于官方 Longhorn 1.1.2 英文技术手册。

系列

• Longhorn 是什么?
• Longhorn 企业级云原生容器分布式存储解决方案设计架构和概念
• Longhorn 企业级云原生容器分布式存储-部署篇
• Longhorn 企业级云原生容器分布式存储-券(Volume)和节点(Node)
• Longhorn&＃xff0c;企业级云原生容器分布式存储-K8S 资源配置示例
• Longhorn&＃xff0c;企业级云原生容器分布式存储 - 监控(Prometheus&＃43;AlertManager&＃43;Grafana)
• Longhorn&＃xff0c;企业级云原生容器分布式存储 - 备份与恢复
• Longhorn&＃xff0c;企业级云原生容器分布式存储 - 支持 ReadWriteMany (RWX) 工作负载(实验性功能)

Longhorn 通过 NFSv4 服务器(share-manager)公开常规 Longhorn 卷&＃xff0c;原生支持 RWX 工作负载。

对于每个正在使用的 RWX 卷 Longhorn 将在 longhorn-system 命名空间中创建一个 share-manager- Pod。

该 Pod 负责通过在 Pod 内运行的 NFSv4 服务器导出 Longhorn 卷。

还有为每个 RWX 卷创建的服务&＃xff0c;用作实际 NFSv4 客户端连接的端点。

要求

为了能够使用 RWX 卷&＃xff0c;每个客户端节点都需要安装 NFSv4 客户端。

对于 Ubuntu&＃xff0c;您可以通过以下方式安装 NFSv4 客户端&＃xff1a;

apt install nfs-common

对于基于 RPM 的发行版&＃xff0c;您可以通过以下方式安装 NFSv4 客户端&＃xff1a;

yum install nfs-utils

如果 NFSv4 客户端在节点上不可用&＃xff0c;则在尝试挂载卷时&＃xff0c;以下消息将是错误的一部分&＃xff1a;

for several filesystems (e.g. nfs, cifs) you might need a /sbin/mount. helper program.\n

RWX 卷的创建和使用

对于动态配置的 Longhorn 卷&＃xff0c;访问模式基于 PVC 的访问模式。

对于手动创建的 Longhorn 卷(恢复、DR 卷)&＃xff0c;可以在 Longhorn UI 创建期间指定访问模式。

通过 UI 为 Longhorn 卷创建 PV/PVC 时&＃xff0c;PV/PVC 的访问模式将基于卷的访问模式。

只要卷未绑定到 PVC&＃xff0c;就可以通过 UI 更改 Longhorn 卷的访问模式。

对于 RWX PVC 使用的 Longhorn 卷&＃xff0c;卷访问模式将更改为 RWX。

故障处理

share-manager Pod 的任何故障(卷故障、节点故障等)都将导致重新创建 Pod 并设置卷的 remountRequestedAt 标志&＃xff0c;
这将导致 workload Pods 被删除&＃xff0c;Kubernetes 重新创建它们。此功能取决于卷意外分离时自动删除工作负载 Pod 的设置&＃xff0c;
默认情况下为 true。如果该设置被禁用&＃xff0c;workload Pods 可能会在 RWX 卷故障时出现 io errors。

建议启用上述设置以保证在 RWX 卷出现问题时自动进行工作负载故障转移。

从以前的外部供应商迁移

下面的 PVC 创建了一个 Kubernetes job&＃xff0c;可以将数据从一个卷复制到另一个卷。

• 将 data-source-pvc 替换为之前由 Kubernetes 创建的 NFSv4 RWX PVC 的名称。
• 将 data-target-pvc 替换为您希望用于新工作负载的新 RWX PVC 的名称。

您可以手动创建一个新的 RWX Longhorn volume &＃43; PVC/PV&＃xff0c;或者只创建一个 RWX PVC&＃xff0c;然后让 Longhorn 为您动态配置一个卷。

两个 PVC 都需要存在于同一个命名空间中。如果您使用的命名空间与默认命名空间不同&＃xff0c;请在下方更改 job 的命名空间。

apiVersion: batch/v1
kind: Job
metadata:namespace: default # namespace where the PVC&＃39;s existname: volume-migration
spec:completions: 1parallelism: 1backoffLimit: 3template:metadata:name: volume-migrationlabels:name: volume-migrationspec:restartPolicy: Nevercontainers:- name: volume-migrationimage: ubuntu:xenialtty: truecommand: [ "/bin/sh" ]args: [ "-c", "cp -r -v /mnt/old /mnt/new" ]volumeMounts:- name: old-volmountPath: /mnt/old- name: new-volmountPath: /mnt/newvolumes:- name: old-volpersistentVolumeClaim:claimName: data-source-pvc # change to data source PVC- name: new-volpersistentVolumeClaim:claimName: data-target-pvc # change to data target PVC

历史

• 从 v1.0.1 开始可用&＃xff0c;External provisioner
  • https://github.com/Longhorn/Longhorn/issues/1183
• 从 v1.1.0 开始可用&＃xff0c;Native RWX support
  • https://github.com/Longhorn/Longhorn/issues/1470