DataX和kettle初步认识

DataX

DataX 是一个异构数据源离线同步工具&＃xff0c;致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。&＃xff08;摘自百科&＃xff09;

DataX是淘宝开源的数据导入导出的工具&＃xff0c;支持HDFS集群与各种关系型数据库之间的数据交换。

我们希望在一个很短的时间窗口内&＃xff0c;将一份数据从一个数据库同时导出到多个不同类型的数据库。 DataX正是为了解决这些问题而生。

DataX特点

1. 在异构的数据库/文件系统之间高速交换数据
2. 采用Framework &＃43; plugin架构构建&＃xff0c;Framework处理了缓冲&＃xff0c;流控&＃xff0c;并发&＃xff0c;上下文加载等高速数据交换的大部分技术问题&＃xff0c;提供了简单的接口与插件交互&＃xff0c;插件仅需实现对数据处理系统的访问
3. 运行模式&＃xff1a;stand-alone
4. 数据传输过程在单进程内完成&＃xff0c;全内存操作&＃xff0c;不读写磁盘&＃xff0c;也没有IPC
5. 开放式的框架&＃xff0c;开发者可以在极短的时间开发一个新插件以快速支持新的数据库/文件系统。&＃xff08;具体参见《DataX插件开发指南》&＃xff09;

DataX结构模式&＃xff08;框架&＃43;插件&＃xff09;

1. Job: 一道数据同步作业
2. Splitter: 作业切分模块&＃xff0c;将一个大任务与分解成多个可以并发的小任务.
3. Sub-job&＃xff1a; 数据同步作业切分后的小任务
4. Reader(Loader): 数据读入模块&＃xff0c;负责运行切分后的小任务&＃xff0c;将数据从源头装载入DataX
5. Storage: Reader和Writer通过Storage交换数据
6. Writer(Dumper): 数据写出模块&＃xff0c;负责将数据从DataX导入至目的数据地

DataX框架内部通过双缓冲队列、线程池封装等技术&＃xff0c;集中处理了高速数据交换遇到的问题&＃xff0c;提供简单的接口与插件交互&＃xff0c;插件分为Reader和Writer两类&＃xff0c;基于框架提供的插件接口&＃xff0c;可以十分便捷的开发出需要的插件。比如想要从oracle导出数据到mysql&＃xff0c;那么需要做的就是开发出OracleReader和MysqlWriter插件&＃xff0c;装配到框架上即可。并且这样的插件一般情况下在其他数据交换场合是可以通用的。

Kettle

Kettle是一款国外开源的ETL工具&＃xff0c;纯java编写&＃xff0c;可以在Window、Linux、Unix上运行&＃xff0c;数据抽取高效稳定。&＃xff08;摘自百科&＃xff09;

Kettle 中文名称叫水壶&＃xff0c;该项目的主程序员MATT 希望把各种数据放到一个壶里&＃xff0c;然后以一种指定的格式流出。
Kettle这个ETL工具集&＃xff0c;它允许你管理来自不同数据库的数据&＃xff0c;通过提供一个图形化的用户环境来描述你想做什么&＃xff0c;而不是你想怎么做。
Kettle中有两种脚本文件&＃xff0c;transformation和job&＃xff0c;transformation完成针对数据的基础转换&＃xff0c;job则完成整个工作流的控制。

kettle的优点&＃xff1a;

1.可视化界面。一个可视化界面足以成为选择kettle的首要原因。毕竟&＃xff0c;可视化意味着更方便人的使用。
2.元数据库。元 数据库 用来保存kettle任务的元信息&＃xff0c;方便管理任务&＃xff0c;通常叫做资源库&＃xff08; repository &＃xff09;。
3.自带工作流并且支持增量抽取。
4.可以配置成一套逻辑。例如&＃xff1a;抽取数据时&＃xff0c;目标表不存在则插入&＃xff0c;存在则更新&＃xff0c;而目标表中存在并且数据源中不存在的&＃xff0c;可以删除

kettle的job中可以嵌套job&＃xff0c;job中嵌套t ransformation&＃xff0c; t ransformation中嵌套job等&＃xff0c;可以满足非常复杂的任务场景。

1&＃xff09;Kettle拥有自己的管理控制台&＃xff0c;可以直接在客户端进行etl任务制定&＃xff0c;不过是CS架构&＃xff0c;而不支持BS浏览器模式。DataX并没有界面&＃xff0c;界面完全需要自己开发&＃xff0c;增加了很大工作量。
2&＃xff09;Kettle可以与我们自己的工程进行集成&＃xff0c;通过JAVA代码集成即可&＃xff0c;可以在java中调用kettle的转换、执行、结束等动作&＃xff0c;这个还是有意义的&＃xff0c;而DataX是不支持的&＃xff0c;DataX是以执行脚本的方式运行任务的&＃xff0c;当然完全吃透源码的情况下&＃xff0c;应该也是可以调用的。
3&＃xff09;支持的数据库&＃xff0c;都支持的比较齐全&＃xff0c;kettle支持的应该更多&＃xff0c;DataX是阿里开发&＃xff0c;可以更好地支持阿里自身的数据库系列&＃xff0c;如ODPS、ADS等
4&＃xff09;Kettle已经加入BI组织Pentaho&＃xff0c;加入后kettle的开发粒度和被关注度更进一步提升
5&＃xff09;DataX开源的支持粒度不高&＃xff0c;关注度远没有kettle高&＃xff0c;代码提交次数更是少的很。
6&＃xff09; 根据网上参考信息&＃xff0c;网友测试 kettle全量抽取较大数据量时&＃xff0c;抽取时间长&＃xff0c;对比测试 datax比kettle快。
7) Datax的工作流需要依托于调度工具的流&＃xff0c;本身并不具备工作流特性。

参考

阿里出品的ETL工具dataX初体验
参考URL: https://blog.csdn.net/shudaqi2010/article/details/79247468
淘宝DataX 数据交换机制学习总结
参考URL: https://blog.csdn.net/w83304911/article/details/50066641
离线数据同步神器&＃xff1a;DataX&＃xff0c;支持几乎所有异构数据源的离线同步到MaxCompute
https://yq.aliyun.com/articles/664118
datax源码分析&＃xff08;一&＃xff09;
参考URL: https://blog.csdn.net/chenqu108/article/details/79803718
Datax源码学习
参考URL: https://blog.csdn.net/shuitawuhen/article/details/41944289
[推荐]DataX二次开发小记
参考URL: https://cloud.tencent.com/developer/news/328376
ETL 之初识 Datax
参考URL: https://www.codercto.com/a/45069.html