OceanBase的重要基础设施——DBReplay

OB君&＃xff1a;9月21日&＃xff0c;OceanBase 2.0 在云栖大会上重磅发布。我们将在接下来的时间里为大家持续推出 “OceanBase 2.0 技术解析系列” 文章&＃xff0c;分别从 可运维性、分布式架构、数据可用性、性价比及兼容性 五个方面对OceanBase 2.0的产品新特性及其背后的技术原理进行深入的解析。今天我们就从可运维性中一个很重要的功能DBReplay聊起&＃xff0c;更多内容欢迎持续关注本系列&＃xff01;

背景介绍

传统数据库如何平滑迁移至OceanBase&＃xff0c;迁移到OceanBase后如何平滑升级&＃xff0c;如何保障稳定性&＃xff0c;这是架构师们不得不考虑的问题。今天我们将重点介绍一个专门为这些场景而生的利器 —— DBReplay。

DBReplay是从生产库截取的真实流量&＃xff0c;然后再在测试库回放用于测试数据库系统的功能和性能的工具。它不仅回放读流量&＃xff0c;也回放写流量&＃xff0c;保证在整个回放过程中的数据和真实线上的数据是一致的&＃xff0c;所有查询基于的快照点和真实线上也是一致的&＃xff0c;并且保证SQL执行过程中的数据集与生产库完全一致&＃xff0c;从而在测试库覆盖生产库的每一个功能场景和性能场景。

整体架构介绍

DBReplay的整体架构图如上图所示&＃xff1a;

• 通过备份恢复功能&＃xff0c;使用在线库的数据恢复出一个测试库&＃xff0c;恢复到具体某一个点&＃xff0c;称为回放点
• 截取在线库回放点以后所有的流量生成流量文件&＃xff0c;流量文件的结束点称为截止点
• 通过一个离线处理的程序分析所有的流量文件&＃xff0c;生成真正用于回放的回放文件。这个过程主要解决事务间的依赖关系
• 主控机读取流量回放文件控制多个客户端回放截取流量到测试库&＃xff0c;回放期间&＃xff0c;我们可以进行各项测试工作&＃xff0c;例如业务功能验证&＃xff0c;数据库升级验证&＃xff0c;外部系统功能验证
• 采集流量回放期间测试库的各项指标&＃xff0c;与在线库进行比对&＃xff0c;分析功能差异&＃xff0c;性能差异&＃xff0c;数据差异
• 通过备份恢复功能&＃xff0c;使用在线库的数据恢复出一个比对库&＃xff0c;恢复到截止点&＃xff0c;与测试库的数据进行全量比对&＃xff0c;判断数据是否完全一致

应用场景介绍

1. 传统数据库平滑迁移OceanBase

传统数据库迁移OceanBase的过程中&＃xff0c;最大的难点就是如何验证OceanBase的兼容性。业务系统非常复杂&＃xff0c;例如订单型业务、状态型业务、契约型业务、分析型业务&＃xff0c;这些业务的流量特点和使用数据库的方式各不相同&＃xff0c;大量专门设计的测试验证方案不但成本昂贵&＃xff0c;而且很难完全覆盖真实场景。DBReplay正是为这一场景而生&＃xff0c;我们以MySQL迁移OB为例&＃xff0c;其架构图如下&＃xff1a;

由于目标库是MySQL数据库&＃xff0c;为了避免对业务系统的侵入&＃xff0c;我们采取了tcpdump的方式去抓取流量&＃xff0c;这是一个通用的方案&＃xff0c;避免各种环境下的权限问题。抓取的流量分别在MySQL测试环境和OB测试环境进行回放&＃xff0c;并做功能比对、性能比对和数据比对&＃xff0c;并生成报表。

结合OceanBase的MySQL兼容性和Oracle兼容性&＃xff0c;最终做到传统数据库到OceanBase的平滑迁移。基于该方案&＃xff0c;我们支持了蚂蚁内部的MySQL/Oracle上的业务向OceanBase的平滑迁移。

2.OceanBase平滑升级

业务系统运行在OceanBase以后&＃xff0c;OceanBase需要给这些业务系统在响应时间&＃xff0c;吞吐量&＃xff0c;高可用&＃xff0c;可扩展性等方面提供服务级别的保证。对OceanBase的任何变更&＃xff08;例如OceanBase升级&＃xff09;&＃xff0c;都需要进行全方面的测试和验证&＃xff0c;然后才能发布到生产环境。大量的测试验证方案很难完全覆盖真实场景&＃xff0c;DBReplay解决了以上挑战。我们可以在流量回放阶段进行OceanBase升级&＃xff0c;并验证升级过程中的稳定性及升级后的执行计划变化&＃xff0c;对于不正确的执行计划进行提前绑定。

3.功能验证

DBReplay还提供了加速回放功能&＃xff0c;可以用来模拟大促等业务流量暴增的场景&＃xff1b;可以搭建回归环境&＃xff0c;通过DBReplay回放业务流量&＃xff0c;从而进行功能验证&＃xff0c;例如我们在蚂蚁内部搭建了一个高可用体系回归环境&＃xff0c;进行7*24的故障注入&＃xff0c;验证高可用体系的覆盖率和正确性。

结语

阅读《文明之光》有所感&＃xff0c;印刷术是人类历史上最重要的发明之一&＃xff0c;其传承人类的文明&＃xff0c;让人类得以快速发展。历史上&＃xff0c;有两个人独立发明了印刷术&＃xff0c;一个是中国宋代的毕昇&＃xff08;雕版印刷术&＃xff09;&＃xff0c;一个是德国人古腾堡&＃xff08;活字印刷术&＃xff09;。

毕昇的发明比古腾堡早了400年&＃xff0c;但在发明之后&＃xff0c;基本上没有实际应用。活字印刷术在中国的普及&＃xff0c;是在古腾堡解决了好几个毕昇没有触及的关键性技术问题后&＃xff08;古腾堡字幕库&＃xff0c;手摇印刷机&＃xff0c;排字、校对、装版一整套印刷工艺流程&＃xff09;&＃xff0c;才使得活字印刷术最终取代了雕版印刷。

活字印刷术相比雕版印刷术而言可谓是颠覆式的创新。但是&＃xff0c;这种创新仅仅靠一项关键性技术远远不够&＃xff0c;还必须解决和它相关联和配套的技术&＃xff0c;才能让它成为改变世界、开创历史的杀手锏。

OceanBase相比于传统数据库已经进行了颠覆式的创新&＃xff0c;融合了关系数据库与分布式系统的优势&＃xff0c;这种融合使得OceanBase可以跨机房、跨地域、甚至跨洲际部署实现较高的金融级可用性和事务的强一致性。OceanBase基于低成本通用硬件&＃xff0c;具备在线水平扩展能力&＃xff0c;创造了4200万次/秒处理峰值的世界纪录。

同样&＃xff0c;仅仅依靠单独突破是远远不够的&＃xff0c;我们需要解决“配套”设施的问题&＃xff0c;才能让OceanBase真正的发挥出威力。DBReplay正是这样的一个重要的基础设施&＃xff0c;解决了传统数据库迁移OceanBase过程中的一些列问题&＃xff0c;以及迁移到OceanBase后的稳定性保障问题。

下期预告

本文是“OceanBase 2.0 技术解析系列”文章的第三篇&＃xff0c;下一篇将为你带来《OceanBase负载均衡的魅力》。敬请期待&＃xff01;

2.0解析系列文章

• 一文详解新一代OceanBase云平台&＃xff08;1&＃xff09;
• [如丝般顺滑&＃xff01;一线运维人员谈如何实现数据库的平滑在线升级&＃xff08;2&＃xff09;
  ](https://yq.aliyun.com/articles/651510?spm&＃61;a2c4e.11153959.teamhomeleft.1.30b91434O0yrZK))

本文作者&＃xff1a;荔子liqi

阅读原文

本文为云栖社区原创内容&＃xff0c;未经允许不得转载。