sqoop导出建表_Sqoop导入及导出表数据子集命令详解

Sqoop命令详解

1、import命令

案例1&＃xff1a;将mysql表test中的数据导入hive的hivetest表&＃xff0c;hive的hivetest表不存在。

sqoop import --connect jdbc:mysql://hadoop-001:3306/test --username root --password 123456 --table my_user --hive-table hivetest --hive-import -m 1

案例2&＃xff1a;在案例1的基础上&＃xff0c;分别进行overwrite(覆盖)导入和into(直接加入)导入。

into&＃xff1a; 命令同案例1

overwrite:

sqoop import --connect jdbc:mysql://hadoop-001:3306/test --username root --password 123456 --table test --hive-table hivetest --hive-import -m 1 --hive-overwrite

案例3&＃xff1a;在案例2的基础上&＃xff0c;通过增加mysql的test表数据&＃xff0c;增量导入到hive表中。

sqoop import --connect jdbc:mysql://hadoop-001:3306/test --username root --password 123456 --table test --where "id>9" --hive-table hivetest --hive-import -m 1

或者

sqoop import --connect jdbc:mysql://hadoop-001:3306/test --username root --password 123456 --table test --query "select id,name from test where id>9" --hive-table hivetest --hive-import -m 1

案例4&＃xff1a;将test表中的数据导出到使用&＃39;,&＃39;分割字段的hive表(hivetest2)中。

创建表&＃xff1a; create table hivetest2(id int,name string) row format delimited fields terminated by &＃39;,&＃39;;

sqoop&＃xff1a;

sqoop import --connect jdbc:mysql://hadoop-001:3306/test --username root --password 123456 --table test --hive-table hivetest2 --hive-import -m 1 --fields-terminated-by ","

案例5&＃xff1a;将PARTITIONS表的数据导入到hdfs中。

sqoop import --connect jdbc:mysql://hadoop-001:3306/metastore --username root --password 123456 --table  PARTITIONS --target-dir /wordcount -m 1

可以看到hdfs有生成文件

cat一下

案例6&＃xff1a;在案例5的基础上&＃xff0c;增量导入数据到hdfs中。

sqoop import --connect jdbc:mysql://hadoop-001:3306/test --username root --password 123456 --table test --target-dir /test -m 1 --check-column id --incremental append --last-value 11

2、export命令

案例1&＃xff1a;将hdfs上的文件导出到关系型数据库test2表中。

./sqoop export --connect jdbc:mysql://hadoop-001:3306/test --username root --password 123456 --table tb_dept --export-dir /test/dept.txt

案例2&＃xff1a;将hive表(hivetest)数据导出到关系型数据库test2表中(使用insertOrUpdate方法导入)。

hivetest表只留id为1,2,3,4,5的数据&＃xff0c;其他数据删除。

hivetest表分隔方式是&＃39;\u0001&＃39;&＃xff0c;但是export命令默认使用&＃39;,&＃39;分隔数据

sqoop export --connect jdbc:mysql://hadoop-001:3306/test --username root --password hive --table test2 --export-dir /hive/hivetest --input-fields-terminated-by "\\01" --update-mode

allowinsert --update-key id

3.其他命令

list-databases命令

sqoop list-databases --connect jdbc:mysql://hadoop-001:3306 --username root --password 123456

list-tables

sqoop list-tables --connect jdbc:mysql://hadoop-001:3306/default --username root --password 123456

create-hive-table命令

sqoop create-hive-table --connect jdbc:mysql://hadoop-001:3306/test --username root --password 123456--table test --hive-table hivetest

help命令

1. sqoop help

2. sqoop help list-tables