热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

CentOS6.5安装sqoop2

1、下载软件:http:archive.cloudera.comcdh5cdh52、解压:tar-zxvfmysoftssqoop2-1.99.5-cd

1、下载软件:http://archive.cloudera.com/cdh5/cdh/5/

2、解压:tar -zxvf mysofts/sqoop2-1.99.5-cdh5.6.0.tar.gz

3、配置环境变量

[root@Hadoop-NN-01 ~]# vim /etc/profile

#
sqoop2
export SQOOP2_HOME=/home/hadoopuser/sqoop2-1.99.5-cdh5.6.0
export CATALINA_BASE
=$SQOOP2_HOME/server
export PATH
=$PATH:$SQOOP2_HOME/bin[root@Hadoop-NN-01 ~]# source /etc/profile #使用环境变量生效

 

4、拷贝mysql驱动包到 $SQOOP2_HOME/server/lib下

驱动包下载:http://dev.mysql.com/downloads/connector/j/

[hadoopuser@Hadoop-NN-01 ~]$ cp mysql-connector-java-5.1.10-bin.jar $SQOOP2_HOME/server/lib/

 

5、修改hadoop配置文件所属路径

[hadoopuser@Hadoop-NN-01 ~]$ vim $SQOOP2_HOME/server/conf/sqoop.properties
org.apache.sqoop.submission.engine.mapreduce.configuration.directory
=/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/etc/hadoop

 

6、把/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop下所有*.jar包加入到类路径里:

[hadoopuser@Hadoop-NN-01 ~]$ vim $SQOOP2_HOME/server/conf/catalina.properties#修改后
common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop/common/*.jar,/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop/common/lib/*.jar,/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop/hdfs/*.jar,/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop/hdfs/lib/*.jar,/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop/mapreduce/*.jar,/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop/mapreduce/lib/*.jar,/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop/tools/*.jar,/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop/tools/lib/*.jar,/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop/yarn/*.jar,/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop/yarn/lib/*.jar,/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop/httpfs/tomcat/lib/*.jar

注:如果想修改tomcat的端口号等信息可以在$SQOOP2_HOME/server/conf/server.xml中进行设置。

 

7、启停sqoop-server

[hadoopuser@Hadoop-NN-01 sqoop2-1.99.5-cdh5.6.0]$ bin/sqoop.sh server start
[hadoopuser
@Hadoop-NN-01 sqoop2-1.99.5-cdh5.6.0]$ bin/sqoop.sh server stop

 

8、验证是否启动成功

方式一:jps查看进程:Bootstrap

方式二:http://Hadoop-NN-01:12000/sqoop/version

 

9、进入sqoop客户端

[hadoopuser@Hadoop-NN-01 sqoop2-1.99.5-cdh5.6.0]$ bin/sqoop.sh client

 

10、为客户端配置服务器

sqoop:000> set server --host Hadoop-NN-01 --port 12000 --webapp sqoop
Server is set successfully

查看服务器端信息:

sqoop:000> show server --all
Server host: Hadoop
-NN-01
Server port:
12000
Server webapp: sqoop

 



推荐阅读
  • 本文_大数据之非常详细Sqoop安装和基本操作
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了大数据之非常详细Sqoop安装和基本操作相关的知识,希望对你有一定的参考价值。大数据大数据之 ... [详细]
  • 本文介绍了在Win10上安装WinPythonHadoop的详细步骤,包括安装Python环境、安装JDK8、安装pyspark、安装Hadoop和Spark、设置环境变量、下载winutils.exe等。同时提醒注意Hadoop版本与pyspark版本的一致性,并建议重启电脑以确保安装成功。 ... [详细]
  • 本文介绍了在sqoop1.4.*版本中,如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件,并重新编译,可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码,重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细]
  • Jmeter对RabbitMQ压力测试
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了Jmeter对RabbitMQ压力测试相关的知识,希望对你有一定的参考价值。Jm ... [详细]
  • Maven构建Hadoop,
    Maven构建Hadoop工程阅读目录序Maven安装构建示例下载系列索引 序  上一篇,我们编写了第一个MapReduce,并且成功的运行了Job,Hadoop1.x是通过ant ... [详细]
  •        在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下:       1、CentOS6.7下安装JDK,地址:http:b ... [详细]
  • 我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ... [详细]
  • 毕设做到后半部分,需要实现将用户在一段时间(比如1天)内产生的新数据导入HDFS的功能,这样数据仓库中的数据才能和数据库中的数据同步在新建了一个PyDev项目后,需要如下操作(拣最 ... [详细]
  • 前言本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出, ... [详细]
  • MySQL数据 实时同步到KafkaBinlog canal、Maxwell、Kafka Connect 实现MySQL增量同步
    一、需求分析早期业务借助Sqoop将Mysql中的数据同步到Hive、hdfs来进行数据分析,使用过程中也带来了一些问题:虽然Sqoop支持增量同步但还属于粗粒度的离线同步,无法满 ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记
    本文介绍了大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记,包括outputFormat接口实现类、自定义outputFormat步骤和案例。案例中将包含nty的日志输出到nty.log文件,其他日志输出到other.log文件。同时提供了一些相关网址供参考。 ... [详细]
  • Hadoop2.6.0 + 云centos +伪分布式只谈部署
    3.0.3玩不好,现将2.6.0tar.gz上传到usr,chmod-Rhadoop:hadophadoop-2.6.0,rm掉3.0.32.在etcp ... [详细]
  • Hadoop源码解析1Hadoop工程包架构解析
    1 Hadoop中各工程包依赖简述   Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。   GoogleCluster:ht ... [详细]
  • mapreduce源码分析总结
    这篇文章总结的非常到位,故而转之一MapReduce概述MapReduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的ÿ ... [详细]
author-avatar
55525wio
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有