sqoop适用的数据源_sqoop数据迁移工具

sqoop&＃xff1a;HDFS 数据库 数据迁移工具

(注&＃xff1a;代码为了表达清晰做了换行&＃xff0c;运行时请放在一行中&＃xff0c;使用空格隔开&＃xff0c;或者加’\’进行行连接)

一.安装&＃xff1a;安装在一台节点上

1.上传sqoop

2.安装和配置

在profiles中添加sqoop到环境变量

将数据库连接驱动拷贝到$SQOOP_HOME/lib里

二.使用

第一类&＃xff1a;数据库中的数据导入到HDFS上

指定列 –columns

./sqoop import

--connect jdbc:mysql://192.168.1.10:3306/itcast

--username root

--password 123

--table trade_detail

--columns &＃39;id, account, income, expenses&＃39;

如果不指定列&＃xff0c;则默认导出所有的列&＃xff0c;代码例如&＃xff1a;

./sqoop import

--connect jdbc:mysql://192.168.1.102:3306/estore

--username root

--password 123

--table orders

指定输出路径 –target-dir、指定数据分隔符–fields-terminated-by(如果不指定&＃xff0c;默认为” , “)

./sqoop import

--connect jdbc:mysql://192.168.1.10:3306/database

--username root

--password 123

--table tablename

--target-dir &＃39;/sqoop/td&＃39;(hdfs的目录)

--fields-terminated-by &＃39;\t&＃39;

./sqoop import

--connect jdbc:mysql://192.168.1.102:3306/estore

--username root

--password 123

--table orders

--target-dir /sqoop

指定Map数量 -m

./sqoop import

--connect jdbc:mysql://192.168.1.10:3306/itcast

--username root

--password 123

--table trade_detail

--target-dir &＃39;/sqoop/td1&＃39;

--fields-terminated-by &＃39;\t&＃39;

-m 2

增加where条件 –where, 注意&＃xff1a;条件必须用引号’ ‘引起来

./sqoop import

--connect jdbc:mysql://192.168.1.10:3306/itcast

--username root

--password 123

--table trade_detail

--where &＃39;id>3&＃39;

--target-dir &＃39;/sqoop/td2&＃39;

增加query语句(语句默认写一行里面&＃xff0c;使用‘ \ ’将语句换行)

./sqoop import

--connect jdbc:mysql://192.168.1.10:3306/itcast

--username root

--password 123 \

--query &＃39;SELECT * FROM trade_detail where id > 2 AND $CONDITIONS&＃39;

--split-by trade_detail.id

--target-dir &＃39;/sqoop/td3&＃39;

导出estore数据库中orders中id<5的表记录&＃xff0c;　指定启动1个mapper&＃xff0c;HDFS目标目录:　/sqoop/td4

./sqoop import

--connect jdbc:mysql://192.168.1.102:3306/estore

--username root

--password 123

--query &＃39;select * from orders where id <5 and $CONDITIONS&＃39;

-m 1

--target-dir /sqoop/td4 (字符转义有错 在记事本里敲一遍再运行)

注意&＃xff1a;如果使用–query这个命令的时候&＃xff0c;需要注意的是where后面的参数&＃xff0c;AND $CONDITIONS这个参数必须加上

而且存在单引号与双引号的区别&＃xff0c;如果–query后面使用的是双引号&＃xff0c;那么需要在$CONDITIONS前加上 \ 转义 即 \$CONDITIONS

增加–split-by 语句(指定以哪一列为标准来划分每个mapper的任务&＃xff0c;仅适用于-m参数>&＃61;2的情况)

./sqoop import

--connect jdbc:mysql://192.168.1.102:3306/estore

--username root

--password 123

--query &＃39;select * from orders where id <5 and $CONDITIONS&＃39; -m 1

--target-dir /sqoop/td4

--split-by user_id

注&＃xff1a;如果设置map数量为1个时即-m 1&＃xff0c;不用加上–split-by ${tablename.column}&＃xff0c;否则需要加上(指定多个mapper)

第二类&＃xff1a;将HDFS上的数据导出到数据库中( 不要忘记指定分隔符(默认是“,”))

./sqoop export

--connect jdbc:mysql://192.168.8.120:3306/itcast

--username root

--password 123

--export-dir &＃39;/td3&＃39;

--table td_bak -m 1

--fields-terminated-by &＃39;,&＃39;

注意&＃xff1a;导出数据时&＃xff0c;要清楚源数据的列分隔符是什么&＃xff0c;并且要求如果不是默认的分隔符&＃xff0c;一定要指定出来

指定分隔符 –fields-terminated-by

--fields-terminated-by &＃39;,&＃39;

以逗号作为分隔符

4.配置mysql远程连接

GRANT ALL PRIVILEGES ON itcast.* TO &＃39;root&＃39;&＃64;&＃39;192.168.1.201&＃39; IDENTIFIED BY &＃39;123&＃39; WITH GRANT OPTION;

FLUSH PRIVILEGES;

GRANT ALL PRIVILEGES ON *.* TO &＃39;root&＃39;&＃64;&＃39;%&＃39; IDENTIFIED BY &＃39;123&＃39; WITH GRANT OPTION;

FLUSH PRIVILEGES