利用sqoop从mysql向多分区hive表中导入数据

         客户有需要需要把数据从传统数据库想hadoop平台迁移，他们利用sqoop将数据从oracle迁移到hive中。最近他们在迁移的时候碰到一个问题，说是从ORACLE以并行方式“抽取数据”抽取数据到HIVE用多个条件进行抽取没有调通。以下是他们发过来的脚本：

sqoop import --connect jdbc:mysql://hadoop-master:3306/hive  --username root  --table test --fields-terminated-by '\t'  [--null-string '**‘]  -m 1 --append  --hive-import   --hive-partition-key   KEY  --hive-partition-value  VALUE

这里面有个问题是，目标表有多个分区，如果只是单个分区的话可以直接指定--hive-partition-key和--hive-partition-value这两个参数即可，可以这样做：

由于sqoop在向hive中导入数据时，是先将数据上传到hdfs中，然后创建表，最后在将hdfs中的数据load到表目录下。受此启发，（我没有oracle数据库，用mysql代替）我们将所要解决的问题分为两步：

这是我的mysql中的测试数据：第一列为数据类型int，第二列为varchar2。

id   name

1    zhangsan
2    wangwu
3    zhaoliu
4    wang
5    liujia
6    gao
7    lirui
8    lisi

假如我需要向test表中，partition(company=‘bonc’, group='bigdata')中导入数据，我们提前创建好表和分区：

首先创建表和分区：

CREATE TABLE test(id int, name string) PARTITIONED BY(company string, group string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

ALTER TABLE test ADD PARTITION(company='bonc', group='bigdata') LOCATION '/user/hive/warehouse/test/company=bonc/group=bigdata';

然后把数据仓库目录作为target直接将数据上传进去，实际上只是向hdfs中上传，并没有用到--hive-import

 sqoop import --connect jdbc:mysql://hadoop-master:3306/hive --username root --password vmware --table test --target-dir '/user/hive/warehouse/test/bOnc=pezy/group=bigdata' --append --fields-terminated-by '\t' -m 1 --columns id,name --where 'id=4'

最后用select * from test;结果显示正确。

首先，如果要向hive表的指定分区导入数据应该要用--hive-table, --hive-partition-key, --hive-partition-value这三个参数。但是这样只能向单个分区导入数据，无法指定多个分区；其次，--where条件中没有用and。由于咱的目标hive表有两个partition，而且无法直接在参数中多个partition(我在指定多个partition的时候报错)，所以咱可以分两步解决这个问题：

如果有更好的方法欢迎指出。