【真的很先进】阿里云在2018KVMForum上分享的动态迁移实践钱小小

信息来源：https://segmentfault.com/a/1190000017103830

【如文中所说：如何解决实际生产环境中遇见的现实问题，正受到业界越来越多的重视。

确实啊，一线云计算大厂形成的技术壁垒，为其未来的寡头局面奠定了基础。】

《Cloudatlas: Ways to Make Live Migration Easy and Expectable》

如何平衡热迁移资源占用与性能开销，同时最小化热迁移对客户的业务影响，是所有公有云厂商都面临的挑战。

阿里云创新性地利用机器学习的方法来预测热迁移的代价以及虚拟机的负载，从而确定一个合理的热迁移的时机和策略，最终提升迁移成功率以及降低热迁移对用户的影响。

阿里云虚拟化团队设计了一个完备的系统来执行热迁移任务的执行。

在演讲中，提到了机器学习算法部分，阿里云使用FFT来判断是否是周期性负载VM，并对周期性负载VM算出周期然后进行预测，对于没有明显周期性负载的VM，团队采用ARIMA和LSTM两个时间序列模型来做回归预测，通过以上三种算法的结合可以快速并准确地预测出95%以上VM在未来24小时的负载趋势，从而找到一个最优的迁移时间。

本次演讲涉及了大量的算法研究，现场听众对使用案例、方案原理、预测效果等非常细节的实现问题进行了进一步的提问。有一位行业专家现场说：这是真正在解决公有云厂商关心的问题。

【ppt下载】

《A Perfect Solution for Live Migration with Pass-through Devices》
演讲者：阿里云技术专家 徐权

该演讲直击了现有直通设备热迁移的问题：即如何传输设备DMA的内存和如何保存和恢复设备的状态。

演讲深入分析了现有的一些方法和存在的问题。比如Intel在82599网卡上，在虚拟机内部设备驱动引入self emulation layer，模拟设备DMA写操作，和恢复保存设备状态。

但由于特定的设备驱动才能工作，而且设备本身设计的缺陷（寄存器只读，在恢复中无法100%恢复），并不能很好地解决问题。而如果从新的硬件和设备驱动的角度切入，在成本投入上是巨大的，而且增加了软件的维护成本。

解决方案：

阿里云扩展了virtio硬件的功能，如感知虚拟机热迁移，提供设备bitmap记录设备DMA访问内存，以及设备所有的寄存器能够动态地保存和恢复，同时修改现有的热迁移和VFIO软件框架。

这样能最大限度地利用现有设备驱动，很好地支持Windows和Linux虚拟机，并不需要单独维护各个版本的设备驱动，大大降低了成本。

【ppt下载】

【在you tu be上看了下演讲视频，讲解的比较模糊，重点工作在于DMA的bitmap和VFIO】

《Live Migration Support for GPU with SRIOV: Challenges and Solution》
阿里云与AMD联合演讲，阿里云演讲者：阿里云高级技术专家 郑晓

GPU的热迁移支持是业界的难点。首先，GPU硬件的调度与上下文切换是以millisecond 为单位的，是CPU的好几个数量级，由此会引发GPU任务的抢占问题。再者，GPU在云计算领域的拓展是最近几年出现的热点，而GPU硬件本身对于虚拟化热迁移的支持尚未完善，比如GPU对local memory的dirty track，对non local memory的dirty track的硬件支持等。这些都为GPU的热迁移带来很多挑战。

演讲中提到了GPU 任务在迁移途中的时效性，抢占问题，比如GPU硬件本身在尚未支持framebuffer dirty track的时候，如何通过hypervisor的措施，通过系统软件的方法来弥补，以及GPU本身上下文的切换需要处理的细节等等。

所有上面提到的问题在阿里云与AMD联合开发的第一天就开始考虑与设计。其中有众多独有的创新点。例如，在某些型号GPU硬件不支持dirty track的时候，通过软件的方式来跟踪GPU的Framebuffer dirty page；在Service downtime等关键性能指标不符合预期的时候，如何把数据从6秒优化到了0.35秒左右；功能方面，从单机迁移完善到多机多卡迁移；在稳定性方面，从一开始的做一次就宕机，到后续连续上千次的压力测试……

此外，演讲还加入了现场的Live Demo，从使用体验上面来说，已经可以做到GPU渲染任务的流畅迁移。

【ppt下载】