sqoop整合hbase

Sqoop整合HBase
sqoop是一个数据导入导出的工具&＃xff0c;可以将关系型数据库当中的数据导入到大数据平台来&＃xff0c;也可以将大数据平台当中的数据导入到关系型数据库当中去
我们也可以通过sqoop导入数据到hbase或者从hbase当中导出数据

需求一&＃xff1a;将mysql表当中的数据导入到HBase当中来

第一步&＃xff1a;修改sqoop配置文件
sqoop导入导出HBase的数据&＃xff0c;需要修改sqoop的配置文件sqoop-env.sh

cd /export/servers/sqoop-1.4.6-cdh5.14.0/conf
vim sqoop-env.sh


#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME&＃61;/export/servers/hadoop-2.6.0-cdh5.14.0#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME&＃61;/export/servers/hadoop-2.6.0-cdh5.14.0#set the path to where bin/hbase is available
export HBASE_HOME&＃61;/export/servers/hbase-1.2.0-cdh5.14.0#Set the path to where bin/hive is available
export HIVE_HOME&＃61;/export/servers/hive-1.1.0-cdh5.14.0


第二步&＃xff1a;在mysql当中创建数据库以及数据库表并插入数据

创建数据库表

CREATE DATABASE IF NOT EXISTS library;
USE library;
CREATE TABLE book(
id INT(4) PRIMARY KEY NOT NULL AUTO_INCREMENT,
NAME VARCHAR(255) NOT NULL,
price VARCHAR(255) NOT NULL);


插入数据

INSERT INTO book(NAME, price) VALUES(&＃39;Lie Sporting&＃39;, &＃39;30&＃39;);
INSERT INTO book (NAME, price) VALUES(&＃39;Pride & Prejudice&＃39;, &＃39;70&＃39;);
INSERT INTO book (NAME, price) VALUES(&＃39;Fall of Giants&＃39;, &＃39;50&＃39;);


第三步&＃xff1a;将mysql表当中的数据导入HBase表当中去
执行以下命令&＃xff0c;将mysql表当中的数据导入到HBase当中去

bin/sqoop import \
--connect jdbc:mysql://192.168.1.5:3306/library \
--username root \
--password admin \
--table book \
--columns "id,name,price" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_book" \
--num-mappers 1 \
--split-by id


第四步&＃xff1a;HBase当中查看表数据
进入hbase的shell客户端&＃xff0c;通过scan查看数据

hbase(main):057:0> scan &＃39;hbase_book&＃39;
ROW COLUMN&＃43;CELL 1 column&＃61;info:name, timestamp&＃61;1550634017823, value&＃61;Lie Sporting 1 column&＃61;info:price, timestamp&＃61;1550634017823, value&＃61;30 2 column&＃61;info:name, timestamp&＃61;1550634017823, value&＃61;Pride & Prejudice 2 column&＃61;info:price, timestamp&＃61;1550634017823, value&＃61;70 3 column&＃61;info:name, timestamp&＃61;1550634017823, value&＃61;Fall of Giants 3 column&＃61;info:price, timestamp&＃61;1550634017823, value&＃61;50


需求二&＃xff1a;将HBase当中的数据导出到mysql当中来

将hbase_book这张表当中的数据导出到mysql当中来

注意&＃xff1a;sqoop不支持我们直接将HBase当中的数据导出&＃xff0c;所以我们可以通过以下的转换进行导出
Hbase→hive外部表→hive内部表→通过sqoop→mysql

第一步&＃xff1a;创建hive外部表
进入hive客户端&＃xff0c;创建hive外部表&＃xff0c;映射hbase当中的hbase_book表

CREATE EXTERNAL TABLE course.hbase2mysql (id int,name string,price int)STORED BY &＃39;org.apache.hadoop.hive.hbase.HBaseStorageHandler&＃39;WITH SERDEPROPERTIES ("hbase.columns.mapping" &＃61;":key,info:name, info:price")TBLPROPERTIES( "hbase.table.name" &＃61; "hbase_book","hbase.mapred.output.outputtable" &＃61; "hbase2mysql");


第二步&＃xff1a;创建hive内部表并将外部表数据插入到内部表当中来
进入hive客户端&＃xff0c;执行以下命令&＃xff0c;创建hive内部表&＃xff0c;并将外部表的数据插入到hive的内部表当中来

CREATE TABLE course.hbase2mysqlin(id int,name string,price int);


第三步&＃xff1a;外部表数据插入内部表
进入hive客户端执行以下命令&＃xff0c;将hive外部表数据插入到hive内部表当中来

insert overwrite table course.hbase2mysqlin select * from course.hbase2mysql;


第四步&＃xff1a;清空mysql表数据
进入mysql客户端&＃xff0c;执行以下命令&＃xff0c;将mysql表数据清空

TRUNCATE TABLE book;


第五步&＃xff1a;执行sqoop导出hive内部表数据到

sqoop export -connect jdbc:mysql://192.168.4.25:3306/library -username root -password admin -table book -export-dir /user/hive/warehouse/course.db/hbase2mysqlin --input-fields-terminated-by &＃39;\001&＃39; --input-null-string &＃39;\\N&＃39; --input-null-non-string &＃39;\\N&＃39;;