Sqoop详细安装与环境配置

1.Sqoop作用
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库&＃xff08;如MySQL&＃xff0c;Oracle&＃xff09;导入数据到Hadoop HDFS&＃xff0c;并从Hadoop文件系统导出到关系数据库。

2.安装教程
下载安装包
下载地址&＃xff1a;http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.2.tar.gz

解压到opt目录下
tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz

改名并移到指定opt目录下的新建子目录soft下
mv sqoop-1.4.6-cdh5.14.2 soft/sqoop146

导mysql驱动包mysql-connector-java-5.1.38到sqoop146的lib文件夹下
官网下载mysql驱动包&＃xff1a;
mv mysql-connector-java-5.1.38-bin.jar /opt/soft/sqoop146/lib
另一种方法&＃xff1a;
到IDEA本地仓库去找到mysql驱动包拖到lib文件夹下

导hadoop驱动包到sqoop的lib文件夹
主要有3个 &＃xff1a;
hadoop-common-2.6.0-cdh5.14.2.jar
hadoop-hdfs-2.6.0-cdh5.14.2.jar
hadoop-mapreduce-client-core-2.6.0-cdh5.14.2.jar

cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/sqoop146/lib

cp /opt/soft/hadoop260/share/hadoop/hdfs/hadoop-hdfs-2.6.0-cdh5.14.2.jar  /opt/soft/sqoop146/lib

cp /opt/soft/hadoop260/share/hadoop/mapreduce2/hadoop-mapreduce-client-core-2.6.0-cdh5.14.2.jar  /opt/soft/sqoop146/lib

如下图所示&＃xff1a;

到sqoop的conf文件下更改配置
cd soft/sqoop146/conf/

改文件名并修改配置
cp sqoop-env-template.sh sqoop-env.sh

修改sqoop-env.sh 中配置
添加以下配置信息

//hadoop目录
export HADOOP_COMMON_HOME&＃61;/opt/soft/hadoop260
//hadoop目录
export HADOOP_MAPRED_HOME&＃61;/opt/soft/hadoop260
//hive环境变量目录
export HIVE_HOME&＃61;/opt/soft/hive110
//zookeeper配置文件目录
export ZOOCFGDIR&＃61;/opt/soft/zk345/conf
//hbase环境变量目录
export HBASE_HOME&＃61;/opt/soft/hbase120

配置sqoop环境变量
vi /etc/profile
//sqoop目录
export SQOOP_HOME&＃61;/opt/soft/sqoop146

export PATH&＃61;$PATH:$SQOOP_HOME/bin

激活配置
source /etc/profile
验证是否安装成功
以下命令用于验证Sqoop版本。

sqoop-version

如图所示出现版本信息&＃xff0c;sqoop已经安装成功&＃xff01;

列出mysql中所有数据库
sqoop list-databases --username root --password root --connect jdbc:mysql://localhost:3306/

列出mysql中某个数据库的所有表

sqoop list-tables --username root --password ok --connect jdbc:mysql://localhost:3306/数据库名

下篇文章中小编会整理出如何使用sqoop从RDB到HDFS的数据迁移、到Hive的数据迁移、到Hbase的数据迁移&＃xff0c;以及Hadoop的HDFS中的数据导进到RDB&＃xff0c;和一些导数据中遇到的常见报错和解决方案