作者:手机用户2602909537 | 来源:互联网 | 2023-07-28 03:06
篇首语:本文由编程笔记#小编为大家整理,主要介绍了Flink实战系列FlinkSQL实时同步Kafka数据到Hudi(parquet+snappy)相关的知识,希望对你有一定的参
篇首语:本文由编程笔记#小编为大家整理,主要介绍了Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)相关的知识,希望对你有一定的参考价值。
Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)
版本信息
Flink |
1.15.1 |
---|
Hadoop |
2.9.0 |
Hudi |
0.12.0 |
Kafka |
2.4.1 |
需要注意的是 Flink 1.15.x 版本对应的 Hudi 必须使用 0.12.0 及以上版本,因为 Hudi 0.12.0 版本才开始支持 Flink 1.15.0 版本。
jar 包依赖
把 hudi-flink1.15-bundle-0.12.0.jar 包添加到 flink/lib 下面。
Kafka Source DDL
drop table