Sqoop导入数据库数据到Hive的两种方式

通过Sqoop将关系型数据库数据到Hive有两种方式&＃xff0c;一种是Sqoop API&＃xff0c;一种是使用HCatalog API。两种方式略有不同&＃xff0c;各有优缺点&＃xff0c;这里主要介绍两者的区别与共同点。

Sqoop方式
Sqoop方式基本的命令如下&＃xff1a;

sqoop import \
--hive-import \
--connect &＃39;jdbc:mysql://localhost:3306/test&＃39; \
--username &＃39;root&＃39; \
--password &＃39;123456789&＃39; \
--query " select order_no from driver_action where  \$CONDITIONS" \
--hive-database test \
--hive-table driver_action \
--hive-partition-key pt \
--hive-partition-value 20190901 \
--null-string &＃39;&＃39; \
--null-non-string &＃39;&＃39; \
--num-mappers 1 \
--target-dir /tmp/test \
--delete-target-dir

通过–query选项中"where $CONDITIONS"是必须带&＃xff0c;否者会报错&＃xff0c;如下&＃xff1a;

19/08/30 11:02:24 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Query [SELECT * FROM t_passenger ] must contain &＃39;$CONDITIONS&＃39; in WHERE clause.
    at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:300)
    at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1833)
    at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1645)
    at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:107)
    at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:478)
    at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)
    at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
    at org.apache.sqoop.Sqoop.main(Sqoop.java:236)

通过–query可以实现复杂的数据抽取&＃xff0c;简单的数据抽取可以使用下面方式&＃xff1a;

sqoop import \
--hive-import \
--connect &＃39;jdbc:mysql://localhost:3306/test&＃39; \
--table driver_action \
--username &＃39;root&＃39; \
--password &＃39;123456789&＃39; \
--columns " order_no" \
--where "where order_no is not null" \
--hive-database test \
--hive-table driver_action \
--hive-partition-key pt \
--hive-partition-value 20190901 \
--null-string &＃39;&＃39; \
--null-non-string &＃39;&＃39; \
--num-mappers 1 \
--target-dir /tmp/test \
--delete-target-dir

但是需要添加的参数增多了。

HCatalog方式
HCatalog方式基本的命令如下&＃xff1a;

sqoop import \
--connect jdbc:mysql://localhost:3306/test\
--username &＃39;root&＃39; \
--password &＃39;root&＃39; \
--query "SELECT order_no FROM driver_action  WHERE \$CONDITIONS" \
--hcatalog-database test \
--hcatalog-table driver_action \
--hcatalog-partition-keys pt \
--hcatalog-partition-values 20200104 \
--hcatalog-storage-stanza &＃39;stored as orc tblproperties ("orc.compress"&＃61;"SNAPPY")&＃39; \
--num-mappers 1

或

sqoop import \
--connect jdbc:mysql://localhost:3306/test\
--username &＃39;root&＃39; \
--password &＃39;root&＃39; \
--table driver_action \
--columns " order_no" \
--where "where order_no is not null" \
--hcatalog-database test \
--hcatalog-table driver_action \
--hcatalog-partition-keys pt \
--hcatalog-partition-values 20200104 \
--hcatalog-storage-stanza &＃39;stored as orc tblproperties ("orc.compress"&＃61;"SNAPPY")&＃39; \
--num-mappers 1

HCatalog方式与Sqoop方式的参数基本都是相同&＃xff0c;只是个别不一样&＃xff0c;都是可以实现Sqoop将数据抽取到Hive&＃xff0c;下面主要介绍一下两者的区别&＃xff1a;
数据格式
Sqoop方式支持的数据格式较少&＃xff0c;HCatalog支持的较多&＃xff0c;比如Sqoop方式不支持ORC格式的表&＃xff0c;但是HCatalog支持。

数据增加形式
Sqoop方式允许数据覆盖&＃xff0c;HCatalog不允许数据覆盖&＃xff0c;每次都只是追加。

字段
Sqoop方式比较随意&＃xff0c;不要求源表和目标表字段相同(字段名称和个数都可以不相同)&＃xff0c;它抽取的方式是将字段按顺序插入&＃xff0c;比如目标表有3个字段&＃xff0c;源表有一个字段&＃xff0c;它会将数据插入到Hive表的第一个字段&＃xff0c;其余字段为NULL。但是HCatalog不同&＃xff0c;源表和目标表字段名需要相同&＃xff0c;字段个数可以不相等&＃xff0c;如果字段名不同&＃xff0c;抽取数据的时候会报NullPointerException错误。HCatalog抽取数据时&＃xff0c;会将字段对应到相同字段名的字段上&＃xff0c;哪怕字段个数不相等。

针对不同字段名&＃xff0c;想要使用HCatalog方式将数据插入&＃xff0c;可以使用下面的方式&＃xff1a;

sqoop import \
--connect jdbc:mysql://localhost:3306/test\
--username &＃39;root&＃39; \
--password &＃39;root&＃39; \
--query "SELECT order_no_src as order_no_target  FROM driver_action WHERE \$CONDITIONS" \
--hcatalog-database test \
--hcatalog-table driver_action \
--hcatalog-partition-keys pt \
--hcatalog-partition-values 20200104 \
--hcatalog-storage-stanza &＃39;stored as orc tblproperties ("orc.compress"&＃61;"SNAPPY")&＃39; \
--num-mappers 1