sqoop入oracle百万数据,Sqoop工具使用(三)把HDFS中的数据导入到Oracle

sqoop export工具把HDFS中的数据导入到rdbms系统中&＃xff0c;实现方式有三种&＃xff1a;

(1)insert mode:生成insert语句然后执行&＃xff0c;这是默认的方式

(2)update mode:生成update语句&＃xff0c;替换数据库中的记录

(3)call mode:调用存储过程处理每一条记录&＃xff1a;

通用参数在import部分已经描述过了&＃xff0c;这里着重描述export参数。

重要选项&＃xff1a;

--input-null-string&＃xff1a;如果没有这个选项&＃xff0c;那么在字符串类型列中&＃xff0c;字符串"null"会被转换成空字符串,所以最好写上这个&＃xff0c;指定为&＃39;\\N&＃39;.

--input-null-non-string&＃xff1a;如果没有这个选项&＃xff0c;那么在非字符串类型的列中&＃xff0c;空串和"null"都会被看作是null.

插入操作实际是开启多个连接&＃xff0c;执行多个事务&＃xff0c;sqoop采用多行插入方式&＃xff0c;每次插入100行&＃xff0c;执行100次插入语句后提交事务。

由于默认sqoop使用多个事务并行插入数据&＃xff0c;这可能会造成部分数据导入失败&＃xff0c;部分数据成功的情况。为了保持一致性&＃xff0c;可以加上--staging-table&＃xff0c;通过中间表保证数据的一致性。为了实现这个功能&＃xff0c;必须要建立一个stage table&＃xff0c;这个表结构与target table结构要一致。最好加上--clear-staging-table&＃xff0c;导入前清除stage table中的数据。使用了--direct就不能使用--stage table了。和import不一样的是&＃xff0c;RDBMS中必须要具备相应的表export操作才会成功。

实例1&＃xff1a;使用insert模式把Hadoop中的文件导入到oracle数据库&＃xff1a;

注意主键约束&＃xff0c;重复记录会导致导入失败&＃xff1a;

实例2&＃xff1a;以update结合insert导入&＃xff1a;

待导入的文件内容&＃xff1a;

建表&＃xff1a;

trx&＃64;HX> create table sqoop_update(id int,name varchar2(500));

Table created.

首先把文件导入数据库&＃xff1a;

下面使用更新导入&＃xff1a;

修改导入文件&＃xff0c;内容如下&＃xff1a;

使用update方式导入&＃xff0c;已存在的记录更新&＃xff0c;不存在的插入新的(注意大小写)&＃xff1a;

这相当于执行下面操作&＃xff1a;

实例三&＃xff1a;为每一条记录调用存储过程&＃xff1a;

目前不知道怎么写存储过程&＃xff0c;处理传过来的数据记录。