热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Sqoop-1.99.7安装配置(详细图文)

环境:centos6.5,hadoop2.6.4集群1.解压安装sqoop从官网下载好安装包,发送到集群中任意一台主机即可。相信大家已经看到,1.99.7跟1.4.6是不兼容的,而

环境:centos 6.5,hadoop2.6.4集群

1.解压安装sqoop

这里写图片描述
从官网下载好安装包,发送到集群中任意一台主机即可。相信大家已经看到,1.99.7跟1.4.6是不兼容的,而且官网也不建议使用这个版本在生产环境中使用。可是,为了学习,搞吧!

一如既往,我还是发送到 master 节点上,在 /usr/hadoop 目录下进行安装。
解压之后,我们将它改个名字,比如:
这里写图片描述

2.配置sqoop

2.1修改sqoop.properties

然后我们进入到 sqoop-1.99.7 下的 conf 目录里,修改 sqoop.properties:
这里写图片描述

这里我建议大家好好看看这段话:
这里写图片描述
它会提示你,这个配置文件里需要修改的有哪些地方。

先是 LOGDIR,配置文件中是相对路径,如果我们不配置的话,我们在哪里启动 sqoop2-shell(客户端) 就会在哪里生成一个”@LOGDIR@“的目录用来日志,就算这个我们不配置,BASEDIR 的目录也要配置。为了以后方便管理我们还是都把这个设置成绝对路径的好。
这个时候我们就可以使用全局替换的命令来完成这个操作:

# 设置日志文件的目录
0,%s/@LOGDIR@/\/usr\/hadoop\/sqoop-1.99.7\/logs/g
# 设置数据的存放目录
0,%s/@BASEDIR@/\/usr\/hadoop\/sqoop-1.99.7\/bin\/BASEDIR/g

这里写图片描述

可以看到这里需要使用到”\“来转义,这里我把存放日志的 logs 放到了 sqoop 的安装目录下。我们可以通过相同的命令来替换 BASEDIR (强烈建议将这个路径修改成绝对路径,不然总会有一天你会发现你之前创建的 link、job 都没有了,到时候再想找可就不是那么容易了!!!)

到这里我们还需要再修改一处地方:
这里写图片描述

这里要将原来的修改成为我们现有集群的 hadoop 的配置文件的目录

2.2配置环境变量

接下来就是需要配置环境变量,在官网里的是这样写的:
这里写图片描述

大概意思就是说,sqoop 需要依赖于 hadoop 几大组件,其实我们需要设置的可以用一个 ”$HADOOP_HOME“涵盖完了。这个我们之前已经配置过了,所以这一项可以忽略掉。当然,还是要配置上 sqoop 的目录,方便命令的使用。
这里写图片描述
最后别忘了使 /etc/profile 生效。

2.3修改 core-site.xml

这里写图片描述

我们需要在 hadoop 的配置文件 core-site.xml 中加上这些内容:
这里写图片描述
这里我画了一下 ”hdfs://master:9000“,大家先记住这个地方,等会儿创建 link 的时候会用到。

2.4添加 mysql 的驱动

将 mysql 的驱动放到 sqoop 的安装目录下的 server 下的 lib 目录下:
这里写图片描述

当然,这里我们也可以参照官网上的方法:
这里写图片描述
我为了省事儿就直接放到 server/lib 目录下了,这样可以省去配置第三方 jar 库,不过,有点精神洁癖的或者不习惯我这样操作的可以仿照官网的操作。

2.5初始化并验证

我们进入到 sqoop 安装目录下的 bin 目录中:
这里写图片描述

使用 sqoop2-tool 来完成初始化和验证:
这里写图片描述
分别执行这个命令,当看到:

Verification was Successful.
Tool class ..... has finished correctly.

就表示,我们配置成功了。

3.启动服务端/客户端

这里写图片描述

如图,我们可以使用 sqoop2-server [ start | stop ] 来启动和关闭服务端。之后使用 jps 命令可以查看到
这里写图片描述
会多了这个进程。

我们使用 sqoop2-shell 进入 sqoop 的命令行终端:
这里写图片描述

到这里我们的安装就已经完成了。在下一篇中,我们来看看怎么使用 sqoop2 。


推荐阅读
  • Hadoop平台警告解决:无法加载本机Hadoop库的全面应对方案
    本文探讨了在Hadoop平台上遇到“无法加载本机Hadoop库”警告的多种解决方案。首先,通过修改日志配置文件来忽略该警告,这一方法被证明是有效的。其次,尝试指定本地库的路径,但未能解决问题。接着,尝试不使用Hadoop本地库,同样没有效果。然后,通过替换现有的Hadoop本地库,成功解决了问题。最后,根据Hadoop的源代码自行编译本地库,也达到了预期的效果。以上方法适用于macOS系统。 ... [详细]
  • CentOS7通过RealVNC实现多人使用服务器桌面
    背景:公司研发团队通过VNC登录到CentOS服务器的桌面实现软件开发工作为防止数据外泄,需要在RealVNC设置禁止传输文件、访问粘贴板等策略过程&# ... [详细]
  • 马蜂窝数据总监分享:从数仓到数据中台,大数据演进技术选型最优解
    大家好,今天分享的议题主要包括几大内容:带大家回顾一下大数据在国内的发展,从传统数仓到当前数据中台的演进过程;我个人认为数 ... [详细]
  • 本文介绍如何通过整合SparkSQL与Hive来构建高效的用户画像环境,提高数据处理速度和查询效率。 ... [详细]
  • Kafka入门指南
    本文将详细介绍如何在CentOS 7上安装和配置Kafka,包括必要的环境准备、JDK和Zookeeper的配置步骤。 ... [详细]
  • Centos7 Tomcat9 安装笔记
    centos7,tom ... [详细]
  • 大数据领域的职业路径与角色解析
    本文将深入探讨大数据领域的各种职业和工作角色,帮助读者全面了解大数据行业的需求、市场趋势,以及从入门到高级专业人士的职业发展路径。文章还将详细介绍不同公司对大数据人才的需求,并解析各岗位的具体职责、所需技能和经验。 ... [详细]
  • 本文介绍了如何使用Flume从Linux文件系统收集日志并存储到HDFS,然后通过MapReduce清洗数据,使用Hive进行数据分析,并最终通过Sqoop将结果导出到MySQL数据库。 ... [详细]
  • 本文详细介绍了在 Ubuntu 系统上搭建 Hadoop 集群时遇到的 SSH 密钥认证问题及其解决方案。通过本文,读者可以了解如何在多台虚拟机之间实现无密码 SSH 登录,从而顺利启动 Hadoop 集群。 ... [详细]
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • 本文介绍了在sqoop1.4.*版本中,如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件,并重新编译,可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码,重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细]
  • 我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ... [详细]
  • 毕设做到后半部分,需要实现将用户在一段时间(比如1天)内产生的新数据导入HDFS的功能,这样数据仓库中的数据才能和数据库中的数据同步在新建了一个PyDev项目后,需要如下操作(拣最 ... [详细]
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
  • 数据仓库中基本概念
    一、数据仓库数据仓库(DataWarehouse)是一个面向主题的、集成的、稳定的且随时间变化的数据集合,用于支持管理人员的决策面向主题主题就是类型的意思。传统数 ... [详细]
author-avatar
mobiledu2502871567
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有