详解大数据采集引擎之Sqoop采集oracle数据库中的数据

一、Sqoop的简介&＃xff1a;

Sqoop是一个数据采集引擎/数据交换引擎&＃xff0c;采集关系型数据库&＃xff08;RDBMS&＃xff09;中的数据&＃xff0c;主要用于在RDBMS与HDFS/Hive/HBase之间进行数据传递&＃xff0c;可以通过sqoop import命令将RDBMS中的数据导入到HDFS/Hive/HBase中&＃xff0c;也可以通过sqoop export命令将HDFS/Hive/HBase中的数据导入到RDBMS中&＃xff0c;特点&＃xff1a;批量采集数据&＃xff0c;底层依赖于MapReduce程序&＃xff0c;工作原理&＃xff1a;通过JDBC连接到关系型数据库&＃xff08;RDBMS&＃xff09;。

二、Sqoop的实验条件&＃xff1a;

实验条件&＃xff1a;安装Windows XP操作系统和oracle数据库。

为什么要选择关系型数据库中的oracle数据库呢&＃xff1f;

原因&＃xff1a;1、在windows系统上安装oracle数据库比在linux系统上更简单。2、oracle数据库中的SH用户含有sales订单表&＃xff0c;表中包含92万条记录&＃xff0c;SCOTT用户含有现成的员工表emp.csv和部门表dept.csv。

三、各种数据库对应的驱动类名和URL格式&＃xff1a;

数据库 驱动类名 URL格式 端口号

oracle oracle.jdbc.OracleDriver jdbc:oracle:thin:&＃64;IP:1521:orcl 1521

mysql com.mysql.jdbc.Driver jdbc:mysql://IP:3306/dbname?name&＃61;value 3306

hive org.apache.hive.jdbc.HiveDriver jdbc:hive2://IP:10000/dbname 10000

四、安装和配置Sqoop&＃xff1a;

注&＃xff1a;不需要修改配置文件

1、安装sqoop&＃xff1a;tar -zxvf sqoop-1.4.5bin_hadoop-0.23.tar.gz -C ~/training

2、配置SQOOP_HOME环境变量&＃xff1a;

export SQOOP_HOME&＃61;/root/training/sqoop-1.4.5bin_hadoop-0.23

export PATH&＃61;$SQOOP_HOME/bin:$PATH

五、使用sqoop语句采集RDBMS中的数据&＃xff1a;

1、导入员工表EMP中的所有数据&＃xff1a;

sqoop import --connect jdbc:oracle:thin:&＃64;192.168.182.157:1521:orcl --username SCOTT --password tiger --table EMP --target-dir /sqoop/import/emp1

2、导入员工表EMP中的指定列&＃xff1a;

sqoop import --connect jdbc:oracle:thin:&＃64;192.168.182.157:1521:orcl --usrname SCOTT --password tiger --table EMP -column ENAME,SAL --target-dir /sqoop/import/emp2

3、导入SALES表中的所有数据&＃xff1a;

sqoop import --connect jdbc:oracle:thin:&＃64;192.168.182.157:1521:orcl --username SH --password sh --table SALES --target-dir /sqoop/import/sales -m 1

4、导入SCOTT用户下的所有表到HDFS中&＃xff1a;

sqoop import-all-tables --connect jdbc:oracle:thin:&＃64;192.168.182.157:1521:orcl --usernmae SCOTT --password tiger

5、导出HDFS中的数据到RDBMS中&＃xff1a;

sqoop export --connect jdbc:oracle:thin:&＃64;192.168.182.157:1521:orcl --username SCOTT --password tiger --table STUDENTS --export-dir /students

六、oracle数据库与mysql数据库的区别&＃xff1a;

1、oracle数据库区分大小写&＃xff0c;需要大写的有&＃xff1a;用户名、表名、列名&＃xff0c;mysql数据库不区分大小写。

2、oracle数据库只有一个数据库&＃xff1a;orcl&＃xff0c;在安装oracle数据库时自动创建&＃xff0c;mysql数据库有很多数据库。

3、oracle数据库有很多用户&＃xff0c;表属于用户&＃xff0c;mysql数据库有很多数据库&＃xff0c;表属于数据库&＃xff0c;数据库对不同用户设置了不同的访问权限。

七、Sqoop与Flume的相同与不同&＃xff1a;

相同&＃xff1a;sqoop和flume都是数据采集引擎。

不同&＃xff1a;sqoop的特点&＃xff1a;批量采集数据&＃xff0c;flume的特点&＃xff1a;实时采集数据&＃xff0c;主要用于实时采集系统中。

作者&＃xff1a;李金泽AllenLi&＃xff0c;清华大学硕士研究生&＃xff0c;研究方向&＃xff1a;大数据和人工智能。