flink访问hive(上)——在idea中本地运行

        本文中使用的flink版本1.13&＃xff0c;hive版本2.3.4

        使用工具idea2020

        有个朋友问了我这个问题&＃xff0c;他说他试了很多网上的方法都跑不了&＃xff0c;我研究了下&＃xff0c;好像给的依赖都不全。

        在官网中的有解决方式&＃xff0c;但主要篇幅是在服务器上如何处理&＃xff0c;在程序中&＃xff0c;只告诉我们需要添加三个依赖&＃xff0c;这个其实是不全的。解决这个问题主要麻烦也就是依赖&＃xff0c;以下是我能成功访问的依赖&＃xff1a;

1.13.52.11org.apache.flinkflink-connector-hive_${scala.version}${flink.version}org.apache.flinkflink-table-api-java-bridge_${scala.version}${flink.version}org.apache.flinkflink-table-planner-blink_${scala.version}${flink.version}org.apache.hivehive-exec2.3.4org.apache.hadoophadoop-common2.7.4org.apache.hadoophadoop-client2.7.4org.apache.hadoophadoop-hdfs2.7.4org.apache.flinkflink-clients_${scala.version}${flink.version}org.anarres.lzolzo-hadoop1.0.5

        最后一个依赖是因为我的表采用了lzo&＃xff0c;所以导入的依赖&＃xff0c;如果你的表未使用lzo可以不用

        大致解释下其他的依赖&＃xff1a;官网要求的&＃xff0c;hive数据在hdfs上&＃xff0c;需要hadoop的依赖&＃xff0c;flink客户端&＃xff0c;然后得多加个flink-table-planner-blink这个依赖&＃xff0c;最后有点就是hive-exec得依赖得放在blink的后面。

测试代码&＃xff1a;

EnvironmentSettings settings &＃61; EnvironmentSettings.newInstance().useBlinkPlanner().build();TableEnvironment tenv &＃61; TableEnvironment.create(settings);String name &＃61; "zxchive";//查询的database名称String database &＃61; "default";//hive配置文件的位置&＃xff0c;里面要有 hive-site.xmlString hiveConfDir &＃61; "data/";//创建对象&＃xff0c;注册&＃xff0c;使用HiveCatalog hive &＃61; new HiveCatalog(name, database, hiveConfDir);tenv.registerCatalog("zxchive",hive);tenv.useCatalog("zxchive");
// TableResult table &＃61; tenv.executeSql("show tables");
// table.print();//执行sqlTable table2 &＃61; tenv.sqlQuery("select * from p_begin limit 10");table2.execute().print();

        代码的话比较简单&＃xff0c;没什么需要解释了&＃xff0c;注意一点就是需要hive-site.xml这个文件&＃xff0c;别忘了。

最后就是&＃xff1a;最新的1.14的&＃xff0c;我瞟了一眼&＃xff0c;代码写法变了&＃xff0c;本文应该不适用了。

        官网地址&＃xff1a;

                flink1.13的&＃xff1a;Overview | Apache Flinkhttps://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/table/hive/overview/

                flink1.14的&＃xff1a;把上面的地址的1.13改成1.14就行了

        最最最后&＃xff0c;放个成功的截图&＃xff0c;以证明可用&＃xff1a;