四十、centos安装sqoop（使用Sqoop完成MySQL和HDFS之间的数据互导）

环境准备&＃xff1a;

centos 7

centos 可以上网

hadoop&＃xff0c;Hbase&＃xff0c;Hive&＃xff0c;Zookeeper正常运行

环境搭建&＃xff1a;

版本&＃xff1a;

sqoop1.4.7-hadoop2.6.0

一、Sqoop安装

        1、直接在虚拟机浏览器下载sqoop1.4.7

https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzhttps://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

 

        2、解压安装包

        3、重命名为Sqoop

mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop


        4、配置sqoop-env.sh

                (1)复制配置文件并重命名为sqoop-env.sh

cat sqoop-env-template.sh >> sqoop-env.sh

 

                  (2)修改配置文件

        编辑sqoop-env.sh文件&＃xff0c;分别将Hadoop、HBase、Hive、ZooKeeper的安装目录添加到文件中。

 

        5、配置环境变量

vim /etc/profile

        使环境变量立即生效&＃xff1a;

source /etc/profile

        6、配置MySQL连接

                &＃xff08;1&＃xff09;添加MySQL的JAR包到Sqoop安装目录中。

                 &＃xff08;2&＃xff09;测试Sqoop与MySQL之间的连接

                         A、启动MySQL服务&＃xff1a;

                         B、测试Sqoop与MySQL之间的连接是否成功&＃xff1a;

sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root -password dang


         注&＃xff1a;如果可以看到MySQL数据库中的数据库列表&＃xff0c;则表示Sqoop安装成功

centos安装Sqoop完成

---

Sqoop的使用&＃xff1a;

二、使用Sqoop完成MySQL和HDFS之间的数据互导

        1、上传准备好的测试数据到MySQL中

                &＃xff08;1&＃xff09;登录MySQL&＃xff1a;

               &＃xff08;2&＃xff09;创建测试数据库

                &＃xff08;3&＃xff09;创建表test1&＃xff0c;用于存放本地测试数据

create table test1(ip varchar(100) not null,time varchar(100) not null,url varchar(100) not null);

                &＃xff08;4&＃xff09;新建测试数据文件

                写入&＃xff1a;

         注意&＃xff1a;此 txt 文件字段之间需要用Tab键隔开&＃xff0c;空格是不可行的&＃xff0c;遇到datatime日期的&＃xff0c;年月日&＃xff0c;时分秒之间需用空格隔开&＃xff0c;不需要添加引号

                 &＃xff08;5&＃xff09;将本地的测试数据上传到test1表中

load data local infile "/opt/linshi/test.txt" into table test1(ip,time,url);

               

                &＃xff08;6&＃xff09;上传完成后&＃xff0c;查看test1表中的数据&＃xff1a;   

select * from test1;


        2、上传数据到HDFS中

        &＃xff08;1&＃xff09;启动hadoop集群                

        &＃xff08;2&＃xff09;将test1中的数据上传到HDFS中&＃xff1a;

./sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password dang --table test1 -m 1

        &＃xff08;3&＃xff09;查看导入的数据

hdfs dfs -cat /user/root/test1/part-m-00000

 

        &＃xff08;4&＃xff09;登录HDFS网页查看

        HDFS的web端&＃xff1a;localhost:50070

 

         &＃xff08;5&＃xff09;将HDFS数据导入MySQL中

        注&＃xff1a;在导出前需要先创建导出表的结构&＃xff0c;如果导出的表在数据表中不存在&＃xff0c;则系统会报错&＃xff1b;若重复导出数据&＃xff0c;则表中的数据会重复

                 A、 在test数据库中创建表test2&＃xff0c;可以直接复制表test1的结构&＃xff1a;

create table test2 as select * from test1 where 1&＃61;2;


                B、查看表test1&＃xff0c;表test2&＃xff1a;

 

 

                C、使用sqoop将HDFS中的数据导入MySQL的test2中&＃xff1a;

sqoop export --connect jdbc:mysql://192.168.231.105:3306/test --username root --password dang --table test2 --export-dir /user/root/test1/part-m-00000 -m 1


         注&＃xff1a;localhost最好写成本机地址&＃xff0c;之前写的localhost报错了

        &＃xff08;6&＃xff09;再次查看test2表&＃xff1a;

 

        HDFS的数据成功导入test2

一条华丽的分割线

---

centos安装sqoop&＃xff08;使用Sqoop完成MySQL和HDFS之间的数据互导&＃xff09;案例完成

其他环境搭建参见&＃xff1a;

Hadoop伪分布式的搭建详情https://blog.csdn.net/m0_54925305/article/details/118650350?spm&＃61;1001.2014.3001.5502Hadoop完全分布式的搭建详情https://blog.csdn.net/m0_54925305/article/details/118851554?spm&＃61;1001.2014.3001.5502Zookeeper集群的搭建&＃xff08;单机、伪分布式、集群&＃xff09;https://blog.csdn.net/m0_54925305/article/details/119059186?spm&＃61;1001.2014.3001.5502Spark的安装与部署详情&＃xff08;Local模式&＃xff0c;Standalone模式&＃xff0c;Spank on YARN模式&＃xff09;https://blog.csdn.net/m0_54925305/article/details/119005751?spm&＃61;1001.2014.3001.5502HadoopHA环境搭建&＃xff08;保姆篇&＃xff0c;手把手搭建&＃xff09;https://blog.csdn.net/m0_54925305/article/details/119838463?spm&＃61;1001.2014.3001.5502hbase集群的搭建&＃xff08;HBase Shell&＃xff09;https://blog.csdn.net/m0_54925305/article/details/120787788?spm&＃61;1001.2014.3001.5502Centos安装mysql(rpm终结版)https://blog.csdn.net/m0_54925305/article/details/120476116?spm&＃61;1001.2014.3001.5502centos安装hive3.1.2&＃xff08;精讲篇&＃xff09;https://blog.csdn.net/m0_54925305/article/details/120554242?spm&＃61;1001.2014.3001.5502Centos安装yum,wegt(完全配置篇)https://blog.csdn.net/m0_54925305/article/details/120467143?spm&＃61;1001.2014.3001.5502