在flink-cdc-connectors出来之前,实时同步mysql binlog的架构基本是Debezium/Canal + Kafka 做采集层 ,用flink做数据加工计算,实现流批一体,架构图:
这个架构采集端组件过多导致维护繁杂,Debezium/Canal 和 flink 都需要维护,出现问题的概率大,查找原因繁琐。
flink-cdc-connectors组件的出现使流批一体数据仓库,通过FLINK从采集层到计算层整个ETL流程都可以由FLINK来完成。架构图:
flink-cdc-connectors源代码:https://github.com/ververica/flink-cdc-connectors
Usage for Table/SQL API
We need several steps to setup a Flink cluster w