本文_大数据之非常详细Sqoop安装和基本操作

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大数据之非常详细Sqoop安装和基本操作相关的知识，希望对你有一定的参考价值。

大数据之非常详细Sqoop安装和基本操作

目录

• 大数据
• Sqoop
• • 1、上传解压
  • 2、配置环境变量
  • • 配置sqoop环境变量
    • 配置sqoop-env.sh
    
    
  • 3、加入mysql的jdbc驱动包
  • 4、验证
  • • 验证是否安装成功
    • 验证启动
    
    
  • 5、导入mysql 表数据到HDFS
  • 6、导出 HDFS数据到 mysql
  
  
• 总结

1、上传解压

使用xftp将sqoop的安装包上传到虚拟机

解压

tar -zxf /opt/software/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/&＃96;


解压完成后&＃xff0c;修改个名字方便以后使用

mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop


2、配置环境变量

配置sqoop环境变量

vi /etc/profile


使环境变量生效&＃xff1a;

source /etc/profile


配置sqoop-env.sh

首先先将sqoop-env-template.sh 修改(也可以复制一个)名字为sqoop-env.sh&＃xff0c;添加Hadoop&＃xff0c;hbase&＃xff0c;hive和zookeeper的配置(zookeeper可以先不配置)

命令为

mv sqoop-env-template.sh sqoop-env.sh
cp sqoop-env-template.sh sqoop-env.sh


进入后

vi sqoop-env.sh
export HADOOP_COMMON_HOME&＃61; /opt/module/hadoop-2.7.1
export HADOOP_MAPRED_HOME&＃61; /opt/module/hadoop-2.7.1
export HIVE_HOME&＃61; /opt/module/apache-hive-1.2.1-bin


3、加入mysql的jdbc驱动包

将mysql的jar包拷贝到sqoop的lib目录下&＃xff0c;可以拷贝hive的lib目录下的mysql的jar包

cp /opt/module/apache-hive-1.2.1-bin/lib/mysql-connector-java-5.1.46-bin.jar /opt/module/sqoop/lib/


4、验证

验证是否安装成功

sqoop version
sqoop-version


验证启动

sqoop/bin/sqoop list-databases \\
--connect jdbc:mysql://localhost:3306/ \\
--username root --password 1234


本命令会列出所有mysql的数据库。

到这里&＃xff0c;整个Sqoop安装工作完成。

5、导入mysql 表数据到HDFS

sqoop/bin/sqoop import \\
--connect jdbc:mysql://hadoop102:3306/test \\
--username root \\
--password 1234 \\
--delete-target-dir \\
--target-dir /output/sqoop \\
--table t1 --m 1 \\
--fields-terminated-by &＃39;,&＃39;


其中–target-dir 可以用来指定导出数据存放至 HDFS 的目录&＃xff1b;

mysql jdbc url 请使用 ip 地址。

jdbc:mysql://hadoop102:3306


为了验证在 HDFS 导入的数据&＃xff0c;请使用以下命令查看导入的数据&＃xff1a;

hadoop fs -cat /output/sqoop/part-m-00000


可以看出它会在 HDFS 上默认用逗号,分隔 emp 表的数据和字段。可以通过

–fields-terminated-by &＃39;\\t’来指定分隔符。

6、导出 HDFS数据到 mysql

将数据从 Hadoop 生态体系导出到 RDBMS 数据库导出前&＃xff0c;目标表必须存在于目标数据库中。

export 有三种模式&＃xff1a;

# 默认操作是从将文件中的数据使用 INSERT 语句插入到表中。
# 更新模式&＃xff1a;Sqoop 将生成 UPDATE 替换数据库中现有记录的语句。
# 调用模式&＃xff1a;Sqoop 将为每条记录创建一个存储过程调用。


以下是 export 命令语法&＃xff1a;

$ sqoop export (generic-args) (export-args)


执行导出命令

sqoop/bin/sqoop export \\
--connect jdbc:mysql://hadoop102:3306/test \\
--username root \\
--password 1234 \\
--table t2 \\
--export-dir /output/t1.txt \\
--fields-terminated-by &＃39;,&＃39; --m 1


t \\
--connect jdbc:mysql://hadoop102:3306/test \\
--username root \\
--password 1234 \\
--table t2 \\
--export-dir /output/t1.txt \\
--fields-terminated-by &＃39;,&＃39; --m 1


以上就是今天要讲的内容&＃xff0c;本文仅仅简单介绍了大数据之非常详细Sqoop安装和基本操作&＃xff0c;结合以上步骤和书中内容相信你也可以的&＃xff0c;加油。