Flink1.9读写Hive操作

官网地址&＃xff1a;

https://ci.apache.org/projects/flink/flink-docs-master/dev/table/hive/

源码地址&＃xff1a;

https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hive/src/main/java/org/apache/flink/connectors/hive/HiveTableSource.java

1&＃xff0c;第一步指定HiveCatalog

解释&＃xff1a;

其中 name 是用户给每个 Catalog 实例指定的名字&＃xff0c; Catalog 名字和 DB 名字构成了 FlinkSQL 中元数据的命名空间&＃xff0c;因此需要保证每个 Catalog 的名字是唯一的。type 表示 Catalog 的类型&＃xff0c;对于 HiveCatalog 而言&＃xff0c;type 应该指定为 hive。hive-conf-dir 用于读取 Hive 的配置文件&＃xff0c;用户可以将其设定为集群中 Hive 的配置文件目录。hive-version 用于指定所使用的 Hive 版本&＃xff0c;可以设定为 2.3.4 或者 1.2.1。

2&＃xff0c;通过 TableAPI 来创建 HiveCatalog&＃xff0c;并注册到 TableEnvironment。 

String name &＃61; "myhive";String defaultDatabase &＃61; "default";String hiveConfDir &＃61; "/path/to/hive_conf_dir";String version &＃61; "2.3.4";
TableEnvironment tableEnv &＃61; …; // create TableEnvironmentHiveCatalog hiveCatalog &＃61; new HiveCatalog(name, defaultDatabase,hiveConfDir, version);tableEnv.registerCatalog(name, hiveCatalog);tableEnv.useCatalog(name);

3&＃xff0c;注册为table&＃xff0c;直接使用&＃xff1a;

TableEnvironment tableEnv &＃61; …; // create TableEnvironmenttableEnv.registerCatalog("myhive", hiveCatalog);// set myhive as current catalogtableEnv.useCatalog("myhive");
Table src &＃61; tableEnv.sqlQuery("select * from src");// write src into a sink or do further analysis……
tableEnv.sqlUpdate("insert into src values (&＃39;newKey&＃39;, &＃39;newVal&＃39;)");tableEnv.execute("insert into src");

4&＃xff0c;注意Hive版本问题&＃xff1a;

Flink 1.9.0 中支持的 Hive 版本是 2.3.4 和 1.2.1&＃xff0c;目前我们只针对这两个版本进行了测试。使用 SQL Client 时&＃xff0c;如果用户没有在 sql-client-defaults.yaml 文件中指定 Hive 版本&＃xff0c;我们会自动检测 classpath 中的 Hive 版本。如果检测到的 Hive 版本不是 2.3.4 或 1.2.1 就会报错。

借助 Hive 兼容性的保证&＃xff0c;其它不同的小版本也比较可能是可以正常工作的。因此&＃xff0c;如果用户使用的 Hive 小版本与我们所支持的不同&＃xff0c;可以指定一个支持的版本来试用与 Hive 集成的功能。比如用户使用的 Hive 版本是 2.3.3&＃xff0c;可以在 sql-client-defaults.yaml 文件或者代码中将 Hive 版本指定为 2.3.4。

5&＃xff0c;相关链接&＃xff1a;

https://mp.weixin.qq.com/s?__biz&＃61;MzU3Mzg4OTMyNQ&＃61;&＃61;&mid&＃61;2247484555&idx&＃61;1&sn&＃61;bd348f9543951eaa6ea852ea68ee9402&chksm&＃61;fd3b8ac9ca4c03df058fcf0ffb9a0977ef49d8192d9f4bc81ef664f775a992ad6d1e02b4dff0&token&＃61;1027247201&lang&＃61;zh_CN#rd