oVirt锁定机制SANLock介绍

SANLock

介绍

sanlock守护程序管理具有共享存储的主机群集上运行的应用程序的租约。所有租赁管理和协调都是通过在共享存储上读写块来完成的。使用两种类型的租约&＃xff0c;每种租约基于不同的算法&＃xff1a;

• 增量租约的获取速度很慢&＃xff0c;并且需要常规I / O才能共享存储。增量租赁存在于单个存储扇区中。获取增量租约涉及对该扇区的读取和写入&＃xff0c;并通过特定的延迟将其分开。一旦获得租约&＃xff0c;必须通过定期更新该部门的时间戳来续订租约。sanlock在内部使用增量租约在host_id上保留租约。host_id租约可防止两个主机使用相同的host_id&＃xff0c;并根据续订提供基本的主机活动信息。

• paxos租约通常可以快速获取&＃xff0c;并且sanlock使它们可以作为通用资源租约提供给应用程序。paxos租约存在于1MB的共享存储中&＃xff08;对于4k扇区为8MB&＃xff09;。获取Paxos租约涉及以磁盘Paxos算法指定的特定顺序读取和写入max_hosts&＃xff08;2000&＃xff09;扇区。paxos租约在内部使用host_id表示租约的所有者&＃xff0c;如果不同的主机使用相同的host_id&＃xff0c;则算法将失败。因此&＃xff0c;增量租约提供了paxos租约中使用的唯一host_id。paxos租约还指代delta租约&＃xff0c;以检查host_id是否有效。

在使用sanlock之前&＃xff0c;用户必须为每个主机分配一个host_id&＃xff0c;该值是1到2000之间的一个数字。不应为两个主机赋予相同的host_id&＃xff08;即使增量租约尝试检测到此错误&＃xff09;。sanlock将存储池视为“锁空间”。每个不同的存储池&＃xff08;例如来自不同来源的存储池&＃xff09;通常会定义为具有唯一锁空间名称的单独锁空间。

必须为Sanlock保留并初始化此存储空间的一部分&＃xff0c;以存储增量租约。每个要使用锁空间的主机必须首先在其锁空间内的host_id号上获得增量租约。&＃xff08;请参见add_lockspace操作/ api&＃xff09;。锁空间中2000个增量租约所需的空间&＃xff08;对于2000个可能的host_id&＃xff09;为1MB&＃xff08;4k扇区为8MB&＃xff09;。&＃xff08;这是单个paxos租约所需的大小&＃xff09;。

有关更多信息&＃xff0c;请参见

• sanlock(8)
• wdmd(8)
• https://pagure.io/sanlock/blob/master/f/README.mk

VDSM和SANLock

自存储域版本3起&＃xff0c;VDSM正在利用SANLock 执行以下任务&＃xff1a;

• 获取SPM资源
• 获取卷资源

注意&＃xff1a;在以前的所有存储域版本中&＃xff0c;都不会激活SANLock。

VDSM中的锁空间和资源

VDSM使用UUID作为名称为每个存储域分配一个锁空间。例如&＃xff1a;对于块存储域&＃39;1dfcd18e-b179-4b95-aef6-f0fba1a3db45&＃39;&＃xff0c;锁空间为

  1dfcd18e-b179-4b95-aef6-f0fba1a3db45:0:/dev/1dfcd18e-b179-4b95-aef6-f0fba1a3db45/ids:0

对于存储域中存在的每个卷&＃xff0c;将创建一个资源并分配其租约&＃xff1a;

• 块域&＃xff1a;在具有预定偏移量的租约LV中&＃xff08;取决于元数据偏移量&＃xff09;
• 文件域&＃xff1a;在扩展名为“ .lease”的文件中&＃xff0c;具有与卷文件相同的名称和位置

SPM资源位于偏移量为0的“租约”文件/ LV上&＃xff08;临时&＃xff0c;它将移至其他偏移量以允许无缝域升级&＃xff09;。

包含SANLock资源的Libvirt XML

VDSM为libvirt准备在存储域版本3上运行VM的XML 包括获取卷资源所需的所有信息&＃xff1a;

&＃96;&＃96;vm1   ...&＃96;&＃96;     ...&＃96;&＃96;              ...&＃96;&＃96; &＃96;&＃96; &＃96;&＃96;&＃96;c29ca345-4aab-42f1-97c5-bdf967073d22&＃96; &＃96;&＃96;7b1cff35-9482-4946-9654-adf1db5ecd10&＃96; &＃96;&＃96; &＃96;&＃96;     ...&＃96;&＃96;

有关libvirt如何处理租赁的更多信息&＃xff0c;请参考其特定文档[1] [2]。

VDSM SANLock图

在connectStoragePool上&＃xff0c;VDSM正在获取池中所有存储域上的锁空间。libvirt稍后将使用获取的锁空间来获取虚拟机的卷。

sanlock日志文件调试

/var/log/messages

包括来自sanlock或wdmd或/ dev / watchdog驱动程序的重要警告或错误。在此找到的任何sanlock或wdmd消息都应进行调查。

/var/log/sanlock.log

包括/ var / log / messages中的所有sanlock警告和错误&＃xff0c;以及sanlock管理的每个锁空间和资源的记录。

/var/log/sanlock.log中的锁空间条目&＃xff1a;

TIME sNUM lockspace LNAME:HOSTID:/dev/VG/LV:OFFSET

• TIME –当地单调时间

• sNUM – NUM是此锁空间uuid的短整数缩写。其他日志消息中使用sNUM来引用此锁定空间。每次启动sanlock守护程序时&＃xff0c;NUM都会重置为1。

• LNAME –锁空间名称&＃xff0c;vdsm将此名称设置为该锁空间的uuid

• HOSTID –本地主机ID

• / dev / VG / LV&＃xff1a;OFFSET –此锁空间所在的磁盘区域

/var/log/sanlock.log中的资源条目&＃xff1a;

TIME sNUM:rNUM resource LNAME:RNAME:/dev/VG/LV:OFFSET for X,Y,PID

• TIME –当地单调时间

• sNUM –短锁空间标识符&＃xff08;请参见上文&＃xff09;

• rNUM – NUM是此资源uuid的短整数缩写。在其他日志消息中使用rNUM引用此锁空间。每次启动sanlock守护程序时&＃xff0c;NUM都会重置为1。

• LNAME-锁空间名称&＃xff08;来自vdsm的uuid&＃xff09;

• RNAME –资源名称&＃xff0c;vdsm将此资源名称设置为uuid

• / dev / VG / LV&＃xff1a;OFFSET –此资源所在的磁盘区域

• X&＃xff0c;Y&＃xff0c;PID – PID是请求此租约的进程&＃xff0c;X是pid使用的内部连接ID&＃xff0c;Y是用于连接的fd编号

更改日志记录级别

可以使用两个sanlock守护程序命令行选项控制写入/ var / log / messages或/var/log/sanlock.log的信息量&＃xff1a;

-L pri 在优先级和日志文件中最多写入日志&＃xff08;-1无&＃xff09;

-S pri 优先级和最高syslog写入日志记录&＃xff08;-1无&＃xff09;

pri是与在中定义的日志优先级相对应的整数/usr/include/sys/syslog.h&＃xff1a;

#define LOG_EMERG       0       /* system is unusable */

#define LOG_ALERT       1       /* action must be taken immediately */

#define LOG_CRIT        2       /* critical conditions */

#define LOG_ERR         3       /* error conditions */

#define LOG_WARNING     4       /* warning conditions */

#define LOG_NOTICE      5       /* normal but significant condition */

#define LOG_INFO        6       /* informational */

#define LOG_DEBUG       7       /* debug-level messages */

默认值为

• -L 4 因此&＃xff0c;从警告到EMERG的日志消息将写入/var/log/sanlock.log
• -S 3 因此&＃xff0c;从ERR到EMERG的日志消息将写入/ var / log / messages

因此&＃xff0c;例如&＃xff0c;要将所有调试消息都写入/var/log/sanlock.log&＃xff0c;则应使用-L 7

sanlock对存储问题的响应

sanlock恢复的原因是存储连接丢失或来自存储的I / O响应时间变慢。“存储”是指写入Sanlock租约的设备或文件。

sanlock守护程序会以固定的间隔连续写入存储以更新其租约。如果Sanlock I / O到存储的时间未在固定时间内完成&＃xff0c;则Sanlock守护程序将进入恢复状态。恢复从sanlock守护程序开始&＃xff0c;尝试使用受影响存储上的租约杀死&＃xff08;pid&＃xff09;任何pid。如果10个SIGTERM超过10秒后没有任何pid退出&＃xff0c;则sanlock将尝试kill&＃xff08;SIGKILL&＃xff09;。如果pid仍在固定时间内没有退出&＃xff0c;则看门狗将触发&＃xff0c;从而重置主机。如果所有pid都在必要的时间内退出&＃xff0c;则看门狗将被更新并且不会触发。

在达到恢复超时之前&＃xff0c;sanlock将记录与续订失败和租约过旧有关的错误。如果发现这些情况&＃xff0c;明智的做法是减少存储或主机上的I / O负载&＃xff0c;以避免超过阈值以进行实际恢复。

   14:27:54 / 13256 (sanlock successfully renews lease)

   14:27:58 / 13260 (storage connection blocked to begin test)

   14:28:14 / 13276 (sanlock starts next scheduled lease renewal 20 sec after last)

• 以下消息&＃xff08;不是日志消息&＃xff09;的背景

 14:28:15 sanlock [123]&＃xff1a;13277 LNAME aio收集0x7f7f7c0008c0&＃xff1a;0x7f7f7c0008d0&＃xff1a;0x7f7f9dd72000结果-5&＃xff1a;0匹配res 14:28:15 sanlock [123]&＃xff1a;13277 s1 delta_renew读取rv -5偏移量0 / dev / VG / LV 14:28:15 sanlock [123]&＃xff1a;13277 s1更新错误-5 delta_length 0 last_success 13256

• sanlock报告第一个I / O错误
• 如果I / O超时而不是快速失败&＃xff0c;则第一个错误可能会迟到14:28:24 / 13286。
• 这些消息针对每个I / O错误重复一次&＃xff0c;频率介于每秒两次和每10秒一次。
• 根据I / O问题的类型&＃xff0c;可能会出现部分或全部这些行。

 14:28:54 sanlock [123]&＃xff1a;13316 s1 check_our_lease警告60 last_success 13256 14:28:55 sanlock [123]&＃xff1a;13317 s1 check_our_lease警告61 last_success 13256…14:29:13 sanlock [123]&＃xff1a;13335 s1 check_our_lease警告79 last_success 13256

• 在上次成功续订后的io_renewal_warn秒&＃xff08;60&＃xff09;内&＃xff0c;每秒出现一次租赁期限警告。
• 尚无不良影响&＃xff1b;这些警告在实际租赁到期之前。

 14:29:14 sanlock [123]&＃xff1a;13336 s1 check_our_lease失败80

• 上次成功续订后的id_renewal_fail秒&＃xff08;80&＃xff09;&＃xff0c;租约到期。
• 此时恢复开始&＃xff1b;sanlock开始杀死pid。

 14:29:14 wdmd [111]&＃xff1a;测试pid 12437更新失败13256到期13336

• 来自wdmd的第一个警告出现&＃xff0c;表明看门狗将触发并重置主机&＃xff0c;除非所有pid在10秒内退出&＃xff08;或续约&＃xff09;。

wdmd对sanlock问题的响应

如果sanlock守护程序在使用时被杀死或以其他方式退出&＃xff0c;则控制/ dev / watchdog的wdmd守护程序将记录错误&＃xff0c;警告看门狗未处于活动状态&＃xff0c;并将很快过期。此时&＃xff0c;做任何事情都为时已晚&＃xff0c;看门狗将重置主机。

sanlock超时

sanlock守护程序具有大量不同的但错综复杂的超时。所有这些都是从io_timeout派生的&＃xff0c;它是10秒&＃xff1a;一个i / o在sanlock认为失败之前可以花费的时间。

可以调整I / O超时&＃xff0c;但是所有主机使用相同的I / O超时值至关重要。sanlock不会检测主机是否使用不同的I / O超时&＃xff0c;并且这种错误配置可能导致数据损坏。当sanlock守护程序启动时&＃xff0c;它将添加一个条目到/ var / log / messages中&＃xff0c;其中包括基本超时值&＃xff1a;

   sanlock daemon started 2.0 aio 1 10 renew 20 80 ...

• aio 1 –启用异步I / O
• 10 – io_timeout
• renew 20 80 – id_renewal_seconds id_renewal_fail_seconds&＃xff08;续约和租约到期前的续约时间&＃xff09;

sanlock实时过程调试

调试sanlock守护进程。

  # sanlock client status [-D]

这将显示当前正在管理的所有锁空间&＃xff0c;租约和pid。-D包括其他内部调试信息。

  # sanlock client host_status -s LOCKSPACE [-D]

这将显示所有正在监视的host_id租约的状态。LOCKSPACE可以只是锁空间名称/ uuid。-D包括其他内部调试信息。

  # sanlock client log_dump

这将转储sanlock守护程序的内部近期调试消息的循环缓冲区。

参考文献

[1] http://libvirt.org/formatdomain.html#elementsLease

[2] http://libvirt.org/locking.html