hadoop生态搭建（3节点）-17.sqoop配置_单节点

作者：jianji | 来源：互联网 | 2023-05-19 12:25

#安装sqooptar-zxvf~sqoop-1

# ==================================================================安装 sqoop

tar -zxvf ~/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv ~/sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop-1.4.7

# 环境变量

# ==================================================================node1

vi /etc/profile

# 在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下添加

export JAVA_HOME=/usr/java/jdk1.8.0_111
export JRE_HOME=/usr/java/jdk1.8.0_111/jre
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.12
export HADOOP_HOME=/usr/local/hadoop-2.7.6
export MYSQL_HOME=/usr/local/mysql
export HBASE_HOME=/usr/local/hbase-1.2.4
export HIVE_HOME=/usr/local/hive-2.1.1
export SCALA_HOME=/usr/local/scala-2.12.4
export KAFKA_HOME=/usr/local/kafka_2.12-0.10.2.1
export FLUME_HOME=/usr/local/flume-1.8.0
export SPARK_HOME=/usr/local/spark-2.3.0
export STORM_HOME=/usr/local/storm-1.1.0
export REDIS_HOME=/usr/local/redis-4.0.2
export ERLANG_HOME=/usr/local/erlang
export RABBITMQ_HOME=/usr/local/rabbitmq_server-3.7.5
export MONGODB_HOME=/usr/local/mongodb-3.4.5
export NGINX_HOME=/usr/local/nginx
export CATALINA_BASE=/usr/local/tomcat
export CATALINA_HOME=/usr/local/tomcat
export TOMCAT_HOME=/usr/local/tomcat
export KEEPALIVED_HOME=/usr/local/keepalived
export ELASTICSEARCH_HOME=/usr/local/elasticsearch-6.2.4
export LOGSTASH_HOME=/usr/local/logstash-6.2.4
export KIBANA_HOME=/usr/local/kibana-6.2.4
export SQOOP_HOME=/usr/local/sqoop-1.4.7

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MYSQL_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$KAFKA_HOME/bin:$FLUME_HOME/bin:$SPARK_HOME/bin:$STORM_HOME/bin:$REDIS_HOME/bin:$ERLANG_HOME/bin:$RABBITMQ_HOME/ebin:$RABBITMQ_HOME/sbin:$MONGODB_HOME/bin:$NGINX_HOME/sbin:$CATALINA_HOME/bin:$KEEPALIVED_HOME/sbin:$ELASTICSEARCH_HOME/bin:$LOGSTASH_HOME/bin:$KIBANA_HOME/bin:$SQOOP_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

# 使环境变量生效
source /etc/profile


# 查看配置结果
echo $SQOOP_HOME

cp -a $SQOOP_HOME/conf/sqoop-env-template.sh $SQOOP_HOME/conf/sqoop-env.sh 
vi $SQOOP_HOME/conf/sqoop-env.sh 

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=${HADOOP_HOME}

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=${HADOOP_HOME}

#set the path to where bin/hbase is available
#export HBASE_HOME=${HBASE_HOME}

#Set the path to where bin/hive is available
export HIVE_HOME=${HIVE_HOME}

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=


cp -a ~/mysql-connector-java-5.1.46.jar $SQOOP_HOME/lib/
cp -a $HIVE_HOME/lib/hive-exec-2.1.1.jar $SQOOP_HOME/lib/


sqoop-version

mysql -u root -p

> create database sqooptest character set utf8 ;
> create user 'sqoop'@'%' identified by 'Sqoop-123';
> grant all privileges on *.* to 'sqoop'@'%';
> flush privileges;

> show databases;

> quit;

# 用户 sqoop 登录 mysql

mysql -u sqoop -p

Enter password: Sqoop-123

> use sqooptest;

> create table emp(id INT NOT NULL PRIMARY KEY, name VARCHAR(20), age INT);
		
> insert into emp(id, name, age)values(1, 'zhangsan', 11);
  insert into emp(id, name, age)values(2, 'lisi', 12);
  insert into emp(id, name, age)values(3, '王五', 13);


> create table emp_add(id INT NOT NULL PRIMARY KEY, name VARCHAR(20), age INT, sex VARCHAR(20));

> insert into emp_add(id, name, age, sex)values(1, 'zhangsan', 11, '男');
  insert into emp_add(id, name, age, sex)values(2, 'lisi', 12, '男');
  insert into emp_add(id, name, age, sex)values(3, '王五', 13, '女');
  insert into emp_add(id, name, age, sex)values(4,'liuliu', 11, '男');


> show tables;

> select * from emp;
  select * from emp_add;

> quit;

# 启动 hadoop

# ==================================================================node1 node2 node3
zkServer.sh start


# ==================================================================node1
# 启动hadoop所有进程
$HADOOP_HOME/sbin/start-all.sh

$HADOOP_HOME/sbin/hadoop-daemon.sh start zkfc


# ==================================================================node2
$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager
$HADOOP_HOME/sbin/hadoop-daemon.sh start zkfc


hadoop dfsadmin -safemode get

# 命令强制离开
# hadoop dfsadmin -safemode leave


# 网页访问
# http://node1:50070?user.name=hadoop
# http://node2:50070?user.name=hadoop
# http://node1:8088?user.name=hadoop/cluster/nodes

# 导入表数据到HDFS

# ==================================================================node1

sqoop import \
  --connect jdbc:mysql://node1:3306/sqooptest \
  --username sqoop \
  --password Sqoop-123 \
  --table emp \
  --m 1

# 如果包下面的错误请将 $HADOOP_HOME/etc/hadoop/yarn-site.xml 文件进行调整
# ERROR tool.ImportTool: Import failed: java.io.IOException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException:
# Invalid resource request, requested memory <0, or requested memory > max configured, requestedMemory=1536, maxMemory=1024

# ==================================================================node1 node2 node3
vi $HADOOP_HOME/etc/hadoop/yarn-site.xml


	yarn.nodemanager.resource.memory-mb
	2048


	yarn.scheduler.maximum-allocation-mb
	2048

# 重启Yarn

# ==================================================================node1
$HADOOP_HOME/sbin/start-yarn.sh

# 导入表数据到HDFS
sqoop import \
  --connect jdbc:mysql://node1:3306/sqooptest \
  --username sqoop \
  --password Sqoop-123 \
  --table emp \
  --m 1


# 查看导入的数据
hadoop fs -ls /user/root/emp

hadoop fs -cat /user/root/emp/part-m-00000


# 导入表到HDFS指定目录
sqoop import --connect jdbc:mysql://node1:3306/sqooptest \
  --username sqoop --password Sqoop-123 \
  --target-dir /sqooptest/table_emp/queryresult \
  --table emp --num-mappers 1


# 查看导入的数据
hadoop fs -ls /sqooptest/table_emp/queryresult

hadoop fs -cat /sqooptest/table_emp/queryresult/part-m-00000

# 导入关系表到HIVE

sqoop import --connect jdbc:mysql://node1:3306/sqooptest \
  --username sqoop --password Sqoop-123 \
  --table emp --hive-import \
  --num-mappers 1

# 如报下面的错误，请先删除 /user/root/emp

# ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://appcluster/user/root/emp already exists

hadoop fs -rmr /user/root/emp

# 重新导入关系表到HIVE

sqoop import --connect jdbc:mysql://node1:3306/sqooptest \
  --username sqoop --password Sqoop-123 \
  --table emp --hive-import \
  --num-mappers 1

# 启动 hive

hive

# 查看导入的数据
> show tables;

> select * from emp;

# 导入表到HIVE指定库指定表

sqoop import --connect jdbc:mysql://node1:3306/sqooptest \
  --username sqoop --password Sqoop-123 \
  --table emp \
  --delete-target-dir \
  --fields-terminated-by '\t' \
  --hive-import \
  --hive-database sqooptest \
  --hive-table hive_emp \
  --num-mappers 1

# 报错 hive的库sqooptest，必须先建立。否则会报：FAILED: SemanticException [Error 10072]: Database does not exist: sqooptest

> create database sqooptest;

> show databases;

# 导入表到HIVE指定库指定表

sqoop import --connect jdbc:mysql://node1:3306/sqooptest \
  --username sqoop --password Sqoop-123 \
  --table emp \
  --delete-target-dir \
  --fields-terminated-by '\t' \
  --hive-import \
  --hive-database sqooptest \
  --hive-table hive_emp \
  --num-mappers 1

  
> use sqooptest;

> show tables;

> select * from hive_emp;

# 导入表数据子集 where子句的导入

sqoop import --connect jdbc:mysql://node1:3306/sqooptest \
  --username sqoop --password Sqoop-123 \
  --table emp_add \
  --where "age =11" \
  --target-dir /sqooptest/table_emp/queryresult2 \
  --num-mappers 1


# 查看导入的数据
hadoop fs -ls /sqooptest/table_emp/queryresult2
 
hadoop fs -cat /sqooptest/table_emp/queryresult2/part-m-00000

# query按需导入

sqoop import --connect jdbc:mysql://node1:3306/sqooptest \
  --username sqoop --password Sqoop-123 \
  --query 'select id,name,age from emp WHERE  id>=2 and $CONDITIONS' \
  --split-by id \
  --fields-terminated-by '\t' \
  --target-dir /sqooptest/table_emp/queryresult3 \
  --num-mappers 1


# 查看导入的数据
hadoop fs -cat /sqooptest/table_emp/queryresult3/part-m-00000

# 增量导入

sqoop import --connect jdbc:mysql://node1:3306/sqooptest \
  --username sqoop --password Sqoop-123 \
  --table emp \
  --incremental append \
  --check-column id \
  --last-value 2 \
  --fields-terminated-by '\t' \
  --target-dir /sqooptest/table_emp/queryresult4 \
  --num-mappers 1
  

# 查看导入的数据
hadoop fs -ls /sqooptest/table_emp/queryresult4/

hadoop fs -cat /sqooptest/table_emp/queryresult4/part-m-00000

# Sqoop的数据导出

# 查看 hdfs 数据

hadoop fs -ls /sqooptest/table_emp/queryresult
hadoop fs -cat /sqooptest/table_emp/queryresult/part-m-00000

# 1、首先需要手动创建mysql中的目标表

mysql -u sqoop -p

Enter password: Sqoop-123

> use sqooptest;

> CREATE TABLE employee(id INT NOT NULL PRIMARY KEY,name VARCHAR(20),age INT);

> show tables;

> select * from employee;

# 2、然后执行导出命令

sqoop export \
  --connect jdbc:mysql://node1:3306/sqooptest \
  --username sqoop --password Sqoop-123 \
  --table employee \
  --export-dir /sqooptest/table_emp/queryresult/


# 验证表mysql命令行
> select * from employee;

> quit;

shutdown -h now
# sqoop

推荐阅读

timestamp
FileBeat + Flume + Kafka + HDFS + Neo4j + SparkStreaming + MySQL：【案例】三度关系推荐V1.0版本11：每周一计算最近一月主播视频评级

一、数据计算步骤汇总下面我们通过文字梳理一下具体的数据计算步骤。第一步：历史粉丝关注数据初始化第二步：实时维护粉丝关注数据第三步：每天定 ... [详细]

蜡笔小新 2024-10-17 15:50:44
php
从0到1搭建大数据平台

从0到1搭建大数据平台 ... [详细]

蜡笔小新 2024-11-12 15:26:03
php
基于Web的Kafka管理器工具之Kafkamanager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)（图文详解）（默认端口或任意自定义端口）

问题详情无奈于，在kafka里没有一个较好自带的webui。启动后无法观看，并且不友好。所以，需安装一个第三方的kafka管理工具为了简化开发者和服务工程师维护 ... [详细]

蜡笔小新 2024-10-10 13:27:31
php
马蜂窝数据总监分享：从数仓到数据中台，大数据演进技术选型最优解

大家好，今天分享的议题主要包括几大内容：带大家回顾一下大数据在国内的发展，从传统数仓到当前数据中台的演进过程；我个人认为数 ... [详细]

蜡笔小新 2023-10-14 14:20:07
heap
Presto：高效即席查询引擎的深度解析与应用

本文深入解析了Presto这一高效的即席查询引擎，详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式，显著提升了查询性能，相比传统的MapReduce查询，不仅减少了数据传输的延迟，还提高了查询的准确性和效率。然而，Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景，展示了其在大数据分析领域的强大潜力。 ... [详细]

蜡笔小新 2024-11-07 19:17:47
heap
Kafka安装与配置深度解析：程序员必备指南

Kafka 是由 Apache 软件基金会开发的高性能分布式消息系统，支持高吞吐量的发布和订阅功能，主要使用 Scala 和 Java 编写。本文将深入解析 Kafka 的安装与配置过程，为程序员提供详尽的操作指南，涵盖从环境准备到集群搭建的每一个关键步骤。 ... [详细]

蜡笔小新 2024-11-07 12:22:05
object
深入掌握Scala面向对象编程与Spark源码解析

在第二课中，我们将深入探讨Scala的面向对象编程核心概念及其在Spark源码中的应用。首先，通过详细的实战案例，全面解析Scala中的类和对象。作为一门纯面向对象的语言，Scala的类设计和对象使用是理解其面向对象特性的关键。此外，我们还将介绍如何通过阅读Spark源码来进一步巩固对这些概念的理解。这不仅有助于提升编程技能，还能为后续的高级应用开发打下坚实的基础。 ... [详细]

蜡笔小新 2024-11-03 14:51:55
byte
字节跳动深圳研发中心安全业务团队正在火热招募人才！

字节跳动深圳研发中心安全业务团队正在火热招募人才！ ... [详细]

蜡笔小新 2024-11-02 18:55:30
byte
构建高可用性Spark分布式集群：大数据环境下的最佳实践

在构建高可用性的Spark分布式集群过程中，确保所有节点之间的无密码登录是至关重要的一步。通过在每个节点上生成SSH密钥对（使用 `ssh-keygen -t rsa` 命令并保持默认设置），可以实现这一目标。此外，还需将生成的公钥分发到所有节点的 `~/.ssh/authorized_keys` 文件中，以确保节点间的无缝通信。为了进一步提升集群的稳定性和性能，建议采用负载均衡和故障恢复机制，并定期进行系统监控和维护。 ... [详细]

蜡笔小新 2024-11-02 14:18:50
int
HBase在金融大数据迁移中的应用与挑战

随着最后一台设备的下线，标志着超过10PB的HBase数据迁移项目顺利完成。目前，新的集群已在新机房稳定运行超过两个月，监控数据显示，新集群的查询响应时间显著降低，系统稳定性大幅提升。此外，数据消费的波动也变得更加平滑，整体性能得到了显著优化。 ... [详细]

蜡笔小新 2024-10-31 14:06:06
object
技术日志：深入探讨Spark Streaming与Spark SQL的融合应用

技术日志：深入探讨Spark Streaming与Spark SQL的融合应用 ... [详细]

蜡笔小新 2024-10-30 14:20:53
python
在Linux系统中配置环境变量以切换不同版本Python的方法与实践

在Linux系统中，原本已安装了多个版本的Python 2，并且还安装了Anaconda，其中包含了Python 3。本文详细介绍了如何通过配置环境变量，使系统默认使用指定版本的Python，以便在不同版本之间轻松切换。此外，文章还提供了具体的实践步骤和注意事项，帮助用户高效地管理和使用不同版本的Python环境。 ... [详细]

蜡笔小新 2024-10-30 09:39:09
bit
apache各版本软件下载地址(含历史版本)

转载：https:blog.csdn.nethigh2011articledetails70155431清华大学镜像网：https:mirrors.tu ... [详细]

蜡笔小新 2024-10-13 14:29:46
bit
Sqoop-1.99.7安装配置（详细图文）

环境：centos6.5，hadoop2.6.4集群1.解压安装sqoop从官网下载好安装包，发送到集群中任意一台主机即可。相信大家已经看到，1.99.7跟1.4.6是不兼容的，而 ... [详细]

蜡笔小新 2024-10-09 16:41:01
bit
本文_大数据之非常详细Sqoop安装和基本操作

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大数据之非常详细Sqoop安装和基本操作相关的知识，希望对你有一定的参考价值。大数据大数据之 ... [详细]

蜡笔小新 2023-10-15 15:25:37

jianji

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章