Sqoop安装和数据的导入导出
1、Sqoop概述
Sqoop 是Hadoop 和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如&＃xff1a;MySQL&＃xff0c;Oracle 到 Hadoop 的 HDFS&＃xff0c;并从 Hadoop 的文件系统导出数据到关系数据库。由 Apache 软件基金会提供。
Sqoop&＃xff1a;“SQL 到 Hadoop 和 Hadoop 到 SQL”。
Sqoop 工作机制是将导入或导出命令翻译成 mapreduce 程序来实现。
在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。
2、Sqoop安装
安装 sqoop 的前提是已经具备 java 和 hadoop 的环境。
修改配置文件&＃xff1a;
cd $SQOOP_HOME/conf
mv sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
export HADOOP_COMMON_HOME&＃61;/root/apps/hadoop/
export HADOOP_MAPRED_HOME&＃61;/root/apps/hadoop/
export HIVE_HOME&＃61;/root/apps/hive
export Hbase_HOME&＃61;/root/apps/hbase
加入 mysql 的 jdbc 驱动包
cp /hive/lib/mysql-connector-java-5.1.28.jar $SQOOP_HOME/lib/
验证启动
- -- --
--
本命令会列出所有 mysql 的数据库。到这里&＃xff0c;整个 Sqoop 安装工作完成。
3、Sqoop导入
“导入工具”导入单个表从 RDBMS 到 HDFS。表中的每一行被视为 HDFS 的记录。所有记录都存储为文本文件的文本数据&＃xff08;或者 Avro、sequence 文件等二进制数据&＃xff09;。
下面的语法用于将数据导入 HDFS。
$ sqoop import (generic-args) (import-args)
Sqoop 测试表数据在 mysql 中创建数据库 sqoop&＃xff0c;然后创建两张表: emp、emp_add 。
创建emp表和emp_add表并导入数据&＃xff1a;
DROP TABLE IF EXISTS &＃96;emp&＃96;;
CREATE TABLE &＃96;emp&＃96; (&＃96;id&＃96; int(11) DEFAULT NULL,&＃96;name&＃96; varchar(100) DEFAULT NULL,&＃96;deg&＃96; varchar(100) DEFAULT NULL,&＃96;salary&＃96; int(11) DEFAULT NULL,&＃96;dept&＃96; varchar(10) DEFAULT NULL
) ENGINE&＃61;InnoDB DEFAULT CHARSET&＃61;latin1;
INSERT INTO &＃96;emp&＃96; VALUES (&＃39;1201&＃39;, &＃39;gopal&＃39;, &＃39;manager&＃39;, &＃39;50000&＃39;, &＃39;TP&＃39;);
INSERT INTO &＃96;emp&＃96; VALUES (&＃39;1202&＃39;, &＃39;manisha&＃39;, &＃39;Proof reader&＃39;, &＃39;50000&＃39;, &＃39;TP&＃39;);
INSERT INTO &＃96;emp&＃96; VALUES (&＃39;1203&＃39;, &＃39;khalil&＃39;, &＃39;php dev&＃39;, &＃39;30000&＃39;, &＃39;AC&＃39;);
INSERT INTO &＃96;emp&＃96; VALUES (&＃39;1204&＃39;, &＃39;prasanth&＃39;, &＃39;php dev&＃39;, &＃39;30000&＃39;, &＃39;AC&＃39;);
INSERT INTO &＃96;emp&＃96; VALUES (&＃39;1205&＃39;, &＃39;kranthi&＃39;, &＃39;admin&＃39;, &＃39;20000&＃39;, &＃39;TP&＃39;);
DROP TABLE IF EXISTS &＃96;emp_add&＃96;;
CREATE TABLE &＃96;emp_add&＃96; (&＃96;id&＃96; int(11) DEFAULT NULL,&＃96;hno&＃96; varchar(100) DEFAULT NULL,&＃96;street&＃96; varchar(100) DEFAULT NULL,&＃96;city&＃96; varchar(100) DEFAULT NULL
) ENGINE&＃61;InnoDB DEFAULT CHARSET&＃61;latin1;
INSERT INTO &＃96;emp_add&＃96; VALUES (&＃39;1201&＃39;, &＃39;288A&＃39;, &＃39;vgiri&＃39;, &＃39;jublee&＃39;);
INSERT INTO &＃96;emp_add&＃96; VALUES (&＃39;1202&＃39;, &＃39;108I&＃39;, &＃39;aoc&＃39;, &＃39;sec-bad&＃39;);
INSERT INTO &＃96;emp_add&＃96; VALUES (&＃39;1203&＃39;, &＃39;144Z&＃39;, &＃39;pgutta&＃39;, &＃39;hyd&＃39;);
INSERT INTO &＃96;emp_add&＃96; VALUES (&＃39;1204&＃39;, &＃39;78B&＃39;, &＃39;old city&＃39;, &＃39;sec-bad&＃39;);
INSERT INTO &＃96;emp_add&＃96; VALUES (&＃39;1205&＃39;, &＃39;720X&＃39;, &＃39;hitec&＃39;, &＃39;sec-bad&＃39;);
3.1、导入mysql数据到hdfs
下面的命令用于从 MySQL 数据库服务器中的 emp 表导入 hdfs
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/sqoopdb \
--username root \
--password root \
--target-dir /sqoopresult \
--table emp --m 1
–target-dir 指定导出数据存放至 hdfs 的目录
–m 指定MapReduce运行线程数
查看导入的数据&＃xff1a;
1201,gopal,manager,50000,TP
1202,manisha,Proof reader,50000,TP
1203,khalil,php dev,30000,AC
1204,prasanth,php dev,30000,AC
1205,kranthi,admin,20000,TP
可以看出它会用逗号,分隔 emp 表的数据和字段。
3.2、导入 mysql 表数据到hive
将关系型数据的表结构复制到hive中&＃xff1a;
bin/sqoop create-hive-table \
--connect jdbc:mysql://node-1:3306/sqoopdb \
--table emp_add \
--username root \
--password root \
--hive-table itcast.emp_add_sp
–table emp_add为mysql中的数据库sqoopdb中的表
–hive-table emp_add_sp 为hive中新建的表名称
从关系数据库导入文件到hive中&＃xff1a;
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/sqoopdb \
--username root \
--password root \
--table emp_add \
--hive-table cheng_cheng.emp_add_sp \
--hive-import \
--m 1
3.3、导入表数据子集
–where 可以指定从关系数据库导入数据时的查询条件。它执行在各自的数据库服务器相应的 SQL 查询&＃xff0c;并将结果存储在hdfs的目标目录。
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/sqoopdb \
--username root \
--password root \
--where "city &＃61;&＃39;sec-bad&＃39;" \
--target-dir /sqoop_wherequery \
--table emp_add --m 1
复杂查询条件&＃xff1a;
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/sqoopdb \
--username root \
--password root \
--target-dir /sqoo_wherequerys \
--query &＃39;select id,name,deg from emp WHERE id>1203 and $CONDITIONS&＃39; \
--split-by id \
--fields-terminated-by &＃39;\t&＃39; \
--m 1
3.4、增量导入
增量导入是仅导入新添加行的数据。
- –check-column (col) 用来作为判断的列名&＃xff0c;如 id
- –incremental (mode) append&＃xff1a;追加&＃xff0c;比如对大于 last-value 指定的值之后的记录进行追加导入。lastmodified&＃xff1a;最后的修改时间&＃xff0c;追加 last-value指定的日期之后的记录
- –last-value (value) 指定自从上次导入后列的最大值&＃xff08;大于该指定的值&＃xff09;&＃xff0c;也可以自己设定某一值
新添加数据&＃xff1a;
INSERT INTO &＃96;emp&＃96; VALUES (&＃39;1206&＃39;, &＃39;satish&＃39;, &＃39;grp&＃39;, &＃39;20000&＃39;, &＃39;GR&＃39;);
INSERT INTO &＃96;emp&＃96; VALUES (&＃39;1207&＃39;, &＃39;ss&＃39;, &＃39;cc&＃39;, &＃39;1000&＃39;, &＃39;DF&＃39;);
INSERT INTO &＃96;emp&＃96; VALUES (&＃39;1208&＃39;, &＃39;aa&＃39;, &＃39;cd&＃39;, &＃39;12000&＃39;, &＃39;DC&＃39;);
增量导入&＃xff1a;
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/sqoopdb \
--username root \
--password root \
--target-dir /sqoopresult_zeng \
--table emp --m 1 \
--incremental append \
--check-column id \
--last-value 1205
4、Sqoop导出
将数据从 HDFS 导出到 RDBMS 数据库导出前&＃xff0c;目标表必须存在于目标数据库中。
默认操作是从将文件中的数据使用INSERT语句插入到表中&＃xff0c;更新模式下&＃xff0c;是生成UPDATE语句更新表数据。
以下是 export 命令语法&＃xff1a;
$ sqoop export (generic-args) (export-args)
导出hdfs数据到 mysql
数据是在hdfs中“/sqoopresult”目录中
在mysql中创建目标表&＃xff1a;
CREATE TABLE &＃96;hdfs_to_emp&＃96; (&＃96;id&＃96; int(11) DEFAULT NULL,&＃96;name&＃96; varchar(100) DEFAULT NULL,&＃96;deg&＃96; varchar(100) DEFAULT NULL,&＃96;salary&＃96; int(11) DEFAULT NULL,&＃96;dept&＃96; varchar(10) DEFAULT NULL
) ENGINE&＃61;InnoDB DEFAULT CHARSET&＃61;latin1;
执行导出命令&＃xff1a;
bin/sqoop export \
--connect jdbc:mysql://node-1:3306/sqoopdb \
--username root \
--password root \
--table hdfs_to_emp \
--export-dir /sqoopresult/
导出结果
bin/sqoop list-databases \
--connect jdbc:mysql://node-21:3306 \
--username root \
--password hadoop
bin/sqoop list-tables \
--connect jdbc:mysql://node-21:3306/sqoopdb \
--username root \
--password hadoop
喜欢就点赞评论&＃43;关注吧
感谢阅读&＃xff0c;希望能帮助到大家&＃xff0c;谢谢大家的支持&＃xff01;
京公网安备 11010802041100号