数据迁移工具/平台大全

最近在做数据迁移的事&＃xff0c;调研发现这方面的资料非常多&＃xff0c;这里Mark一下&＃xff0c;6月底之前把所有工具试用一遍

参考资料

DataLink是一个满足各种异构数据源之间的实时增量同步&＃xff0c;分布式、可扩展的数据交换平台。
1、神州优车&＃xff1a;https://github.com/ucarGroup/DataLink
08年左右&＃xff0c;阿里巴巴开始尝试MySQL的相关研究&＃xff0c;并开发了基于MySQL分库分表技术的相关产品&＃xff0c;Cobar/TDDL(目前为阿里云DRDS产品)&＃xff0c;解决了单机Oracle无法满足的扩展性问题&＃xff0c;当时也掀起一股去IOE项目的浪潮&＃xff0c;愚公这项目因此而诞生&＃xff0c;其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上&＃xff0c;完成去IOE的第一步.
2、alibaba&＃xff1a;https://github.com/alibaba/yugong
早期阿里巴巴因为杭州和美国双机房部署&＃xff0c;存在跨机房同步的业务需求&＃xff0c;实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始&＃xff0c;业务逐步尝试数据库日志解析获取增量变更进行同步&＃xff0c;由此衍生出了大量的数据库增量订阅和消费业务。
3、https://github.com/alibaba/canal
基于数据库增量日志解析&＃xff0c;准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统
4、https://github.com/alibaba/otter
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台&＃xff0c;实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
5、https://github.com/alibaba/datax
6、https://github.com/linkedin/databus&＃xff08;几年没更新了&＃xff09;
7、https://maxwells-daemon.io
8、https://github.com/apache/kafka
9、https://github.com/vmware/tungsten-replicator&＃xff08;找不到&＃xff09;
https://sourceforge.net/projects/tungsten-replicator.mirror/
10、https://github.com/whitesock/open-replicator
11、http://www.symmetricds.org