热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Sqoop-1.99.7安装配置(详细图文)

环境:centos6.5,hadoop2.6.4集群1.解压安装sqoop从官网下载好安装包,发送到集群中任意一台主机即可。相信大家已经看到,1.99.7跟1.4.6是不兼容的,而

环境:centos 6.5,hadoop2.6.4集群

1.解压安装sqoop

这里写图片描述
从官网下载好安装包,发送到集群中任意一台主机即可。相信大家已经看到,1.99.7跟1.4.6是不兼容的,而且官网也不建议使用这个版本在生产环境中使用。可是,为了学习,搞吧!

一如既往,我还是发送到 master 节点上,在 /usr/hadoop 目录下进行安装。
解压之后,我们将它改个名字,比如:
这里写图片描述

2.配置sqoop

2.1修改sqoop.properties

然后我们进入到 sqoop-1.99.7 下的 conf 目录里,修改 sqoop.properties:
这里写图片描述

这里我建议大家好好看看这段话:
这里写图片描述
它会提示你,这个配置文件里需要修改的有哪些地方。

先是 LOGDIR,配置文件中是相对路径,如果我们不配置的话,我们在哪里启动 sqoop2-shell(客户端) 就会在哪里生成一个”@LOGDIR@“的目录用来日志,就算这个我们不配置,BASEDIR 的目录也要配置。为了以后方便管理我们还是都把这个设置成绝对路径的好。
这个时候我们就可以使用全局替换的命令来完成这个操作:

# 设置日志文件的目录
0,%s/@LOGDIR@/\/usr\/hadoop\/sqoop-1.99.7\/logs/g
# 设置数据的存放目录
0,%s/@BASEDIR@/\/usr\/hadoop\/sqoop-1.99.7\/bin\/BASEDIR/g

这里写图片描述

可以看到这里需要使用到”\“来转义,这里我把存放日志的 logs 放到了 sqoop 的安装目录下。我们可以通过相同的命令来替换 BASEDIR (强烈建议将这个路径修改成绝对路径,不然总会有一天你会发现你之前创建的 link、job 都没有了,到时候再想找可就不是那么容易了!!!)

到这里我们还需要再修改一处地方:
这里写图片描述

这里要将原来的修改成为我们现有集群的 hadoop 的配置文件的目录

2.2配置环境变量

接下来就是需要配置环境变量,在官网里的是这样写的:
这里写图片描述

大概意思就是说,sqoop 需要依赖于 hadoop 几大组件,其实我们需要设置的可以用一个 ”$HADOOP_HOME“涵盖完了。这个我们之前已经配置过了,所以这一项可以忽略掉。当然,还是要配置上 sqoop 的目录,方便命令的使用。
这里写图片描述
最后别忘了使 /etc/profile 生效。

2.3修改 core-site.xml

这里写图片描述

我们需要在 hadoop 的配置文件 core-site.xml 中加上这些内容:
这里写图片描述
这里我画了一下 ”hdfs://master:9000“,大家先记住这个地方,等会儿创建 link 的时候会用到。

2.4添加 mysql 的驱动

将 mysql 的驱动放到 sqoop 的安装目录下的 server 下的 lib 目录下:
这里写图片描述

当然,这里我们也可以参照官网上的方法:
这里写图片描述
我为了省事儿就直接放到 server/lib 目录下了,这样可以省去配置第三方 jar 库,不过,有点精神洁癖的或者不习惯我这样操作的可以仿照官网的操作。

2.5初始化并验证

我们进入到 sqoop 安装目录下的 bin 目录中:
这里写图片描述

使用 sqoop2-tool 来完成初始化和验证:
这里写图片描述
分别执行这个命令,当看到:

Verification was Successful.
Tool class ..... has finished correctly.

就表示,我们配置成功了。

3.启动服务端/客户端

这里写图片描述

如图,我们可以使用 sqoop2-server [ start | stop ] 来启动和关闭服务端。之后使用 jps 命令可以查看到
这里写图片描述
会多了这个进程。

我们使用 sqoop2-shell 进入 sqoop 的命令行终端:
这里写图片描述

到这里我们的安装就已经完成了。在下一篇中,我们来看看怎么使用 sqoop2 。


推荐阅读
  • 微软Exchange服务器遭遇2022年版“千年虫”漏洞
    微软Exchange服务器在新年伊始遭遇了一个类似于‘千年虫’的日期处理漏洞,导致邮件传输受阻。该问题主要影响配置了FIP-FS恶意软件引擎的Exchange 2016和2019版本。 ... [详细]
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • 探讨如何真正掌握Java EE,包括所需技能、工具和实践经验。资深软件教学总监李刚分享了对毕业生简历中常见问题的看法,并提供了详尽的标准。 ... [详细]
  • 通过Web界面管理Linux日志的解决方案
    本指南介绍了一种利用rsyslog、MariaDB和LogAnalyzer搭建集中式日志管理平台的方法,使用户可以通过Web界面查看和分析Linux系统的日志记录。此方案不仅适用于服务器环境,还提供了详细的步骤来确保系统的稳定性和安全性。 ... [详细]
  • 本文详细记录了在基于Debian的Deepin 20操作系统上安装MySQL 5.7的具体步骤,包括软件包的选择、依赖项的处理及远程访问权限的配置。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 本文详细介绍了如何在Linux系统上安装和配置Smokeping,以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装,确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]
  • CentOS7源码编译安装MySQL5.6
    2019独角兽企业重金招聘Python工程师标准一、先在cmake官网下个最新的cmake源码包cmake官网:https:www.cmake.org如此时最新 ... [详细]
  • 本文深入探讨了如何通过调整InnoDB的关键配置参数来优化MySQL的随机IO性能,涵盖了缓存、日志文件、预读机制等多个方面,帮助读者全面提升数据库系统的性能。 ... [详细]
  • 在当前众多持久层框架中,MyBatis(前身为iBatis)凭借其轻量级、易用性和对SQL的直接支持,成为许多开发者的首选。本文将详细探讨MyBatis的核心概念、设计理念及其优势。 ... [详细]
  • 使用Vultr云服务器和Namesilo域名搭建个人网站
    本文详细介绍了如何通过Vultr云服务器和Namesilo域名搭建一个功能齐全的个人网站,包括购买、配置服务器以及绑定域名的具体步骤。文章还提供了详细的命令行操作指南,帮助读者顺利完成建站过程。 ... [详细]
  • MySQL缓存机制深度解析
    本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
  • 网络运维工程师负责确保企业IT基础设施的稳定运行,保障业务连续性和数据安全。他们需要具备多种技能,包括搭建和维护网络环境、监控系统性能、处理突发事件等。本文将探讨网络运维工程师的职业前景及其平均薪酬水平。 ... [详细]
  • 本文介绍如何在现有网络中部署基于Linux系统的透明防火墙(网桥模式),以实现灵活的时间段控制、流量限制等功能。通过详细的步骤和配置说明,确保内部网络的安全性和稳定性。 ... [详细]
  • 该平台旨在为大型企业提供一个高效、灵活且可扩展的分布式微服务架构解决方案。它采用模块化、微服务化和热部署的设计理念,结合当前最先进且无商业限制的主流开源技术,如Spring Cloud、Spring Boot2、MyBatis、OAuth2和Element UI,实现前后端分离的系统管理平台。 ... [详细]
author-avatar
mobiledu2502871567
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有