热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

hadoop2.6.4+centos6.5x64分布式配置

2019独角兽企业重金招聘Python工程师标准工具原料:hadoop2.6.4(64位)centos6.5x64jdk-7u45-

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

工具/原料:

hadoop2.6.4 (64位)

centos6.5x64

jdk-7u45-linux-x64.tar.gz

 

步骤:

四台机器(虚拟机):server ,server1,server2,server3

ip设置:

192.168.0.100

192.168.0.101

192.168.0.102

192.168.0.103

 

(jdk安装省略)

第一步:配置主机名,内网域名映射,ip

1.配置主机名:

 

  1. vi /etc/sysconfig/network

修改为:

 

  1. NETWORKING=yes
  2. HOSTNAME=server

依次修改server1,server2,server3

 

2.内网域名映射:

 

  1. vi /etc/hosts

添加:

 

  1. 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
  2. ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
  3. 192.168.0.100 server
  4. 192.168.0.101 server1
  5. 192.168.0.102 server2
  6. 192.168.0.103 server3

3.修改ip地址

 

  1. vi /etc/sysconfig/network-scripts/ifcfg-eth0

修改:

 

  1. DEVICE=eth0
  2. TYPE=Ethernet
  3. ONBOOT=yes #是否开机启用
  4. BOOTPROTO=static #ip地址设置为静态
  5. IPADDR=192.168.0.101
  6. NETMASK=255.255.255.0

注意:

因为虚拟机占内存大,所以我是建了一个server1,server2和server3是复制server1的。因为是复制的,所以要修改网卡

步骤如下:

1.修改  vim /etc/sysconfig/network-scripts/ifcfg-eth0

171841_GaTZ_2913509.png

 

2.修改   vim  /etc/udev/rules.d/70-persistent-net.rules

171854_NUvj_2913509.png

3.一定要重启系统,重启网卡无效。

 

第二步:配置无密钥登录

我把server当作主的,其他的当作辅的,所以配置server到server1,server2,server3的ssh无密钥登录

步骤如下:

 

  1. ssh-keygen

然后一路回车,直到看到这个

171910_DhvN_2913509.png

 然后

 

  1. ssh-copy-id 192.168.0.100

依次将server,server1,server2,server3都配置,包括server自己

 

第三步:配置hadoop

解压好haddop以后,

我的安装路径是:/root/apps/hadoop-2.6.4

vi  /etc/profile

# The java implementation to use.

export HADOOP_HOME=/root/apps/Hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

 

vihadoop-env.sh

# The java implementation to use.

export JAVA_HOME=/usr/local/jdk1.7.0_45(这是jdk安装路径)

 

vi  core-site.xml

fs.defaultFS

hdfs://server:9000

hadoop.tmp.dir

/root/apps/hadoop-2.6.4/tmp

vi  hdfs-site.xml

dfs.namenode.name.dir

/root/apps/hadoop/data/name

dfs.datanode.data.dir

/root/apps/hadoop/data/data

 

dfs.replication

2

 

dfs.secondary.http.address

server:50090

 

 

 

vi  mapred-site.xml

mapreduce.framework.name

yarn

 

vi  yarn-site.xml

yarn.resourcemanager.hostname

server

 

yarn.nodemanager.aux-services

mapreduce_shuffle

 

vi  slaves

 

server1

server2

server3

 

拷贝到每一台机器上

 

 

  1. scp -r apps server1:/home/hadoop/

至此,就算完成了

验证一下

 

  1. hadoop version

171938_9ytb_2913509.png

 祝贺你,hadoop安装成功!

在这里有一点:

我在安装的过程遇到了这个问题:

就是hadoopdeep环境变量虽然配置了,但是hadoop命令不管用,提示:

 

Hadoop command not found

对于这个问题的解决方法是:

编辑这个文件

 

  1. vi ~/.bash_profile

在这里加上hadoop的安装路径

171951_xCyh_2913509.png

 重启系统,问题解决。


转:https://my.oschina.net/luleilei516/blog/828898



推荐阅读
  • centos 7.0 lnmp成功安装过程(很乱)
    下载nginx[rootlocalhostsrc]#wgethttp:nginx.orgdownloadnginx-1.7.9.tar.gz--2015-01-2412:55:2 ... [详细]
  • 本文详细介绍了 Java 网站开发的相关资源和步骤,包括常用网站、开发环境和框架选择。 ... [详细]
  • 2020年9月15日,Oracle正式发布了最新的JDK 15版本。本次更新带来了许多新特性,包括隐藏类、EdDSA签名算法、模式匹配、记录类、封闭类和文本块等。 ... [详细]
  • 本文详细介绍了如何在 Linux 系统上安装 JDK 1.8、MySQL 和 Redis,并提供了相应的环境配置和验证步骤。 ... [详细]
  • 本文详细介绍了在 CentOS 7 系统中配置 fstab 文件以实现开机自动挂载 NFS 共享目录的方法,并解决了常见的配置失败问题。 ... [详细]
  • 零拷贝技术是提高I/O性能的重要手段,常用于Java NIO、Netty、Kafka等框架中。本文将详细解析零拷贝技术的原理及其应用。 ... [详细]
  • 解决Bootstrap DataTable Ajax请求重复问题
    在最近的一个项目中,我们使用了JQuery DataTable进行数据展示,虽然使用起来非常方便,但在测试过程中发现了一个问题:当查询条件改变时,有时查询结果的数据不正确。通过FireBug调试发现,点击搜索按钮时,会发送两次Ajax请求,一次是原条件的请求,一次是新条件的请求。 ... [详细]
  • Ansible:自动化运维工具详解
    Ansible 是一款新兴的自动化运维工具,基于 Python 开发,集成了多种运维工具(如 Puppet、CFEngine、Chef、Func 和 Fabric)的优点,实现了批量系统配置、程序部署和命令执行等功能。本文将详细介绍 Ansible 的架构、特性和优势。 ... [详细]
  • 在CentOS 7环境中安装配置Redis及使用Redis Desktop Manager连接时的注意事项与技巧
    在 CentOS 7 环境中安装和配置 Redis 时,需要注意一些关键步骤和最佳实践。本文详细介绍了从安装 Redis 到配置其基本参数的全过程,并提供了使用 Redis Desktop Manager 连接 Redis 服务器的技巧和注意事项。此外,还探讨了如何优化性能和确保数据安全,帮助用户在生产环境中高效地管理和使用 Redis。 ... [详细]
  • 在Linux系统中避免安装MySQL的简易指南
    在Linux系统中避免安装MySQL的简易指南 ... [详细]
  • 深入解析C语言中结构体的内存对齐机制及其优化方法
    为了提高CPU访问效率,C语言中的结构体成员在内存中遵循特定的对齐规则。本文详细解析了这些对齐机制,并探讨了如何通过合理的布局和编译器选项来优化结构体的内存使用,从而提升程序性能。 ... [详细]
  • SecureCRT是一款功能强大的终端仿真软件,支持SSH1和SSH2协议,适用于在Windows环境下高效连接和管理Linux服务器。该工具不仅提供了稳定的连接性能,还具备丰富的配置选项,能够满足不同用户的需求。通过SecureCRT,用户可以轻松实现对远程Linux系统的安全访问和操作。 ... [详细]
  • 为了确保iOS应用能够安全地访问网站数据,本文介绍了如何在Nginx服务器上轻松配置CertBot以实现SSL证书的自动化管理。通过这一过程,可以确保应用始终使用HTTPS协议,从而提升数据传输的安全性和可靠性。文章详细阐述了配置步骤和常见问题的解决方法,帮助读者快速上手并成功部署SSL证书。 ... [详细]
  • Parallels Desktop for Mac 是一款功能强大的虚拟化软件,能够在不重启的情况下实现在同一台电脑上无缝切换和使用 Windows 和 macOS 系统中的各种应用程序。该软件不仅提供了高效稳定的性能,还支持多种高级功能,如拖放文件、共享剪贴板等,极大地提升了用户的生产力和使用体验。 ... [详细]
  • 在Linux系统中,网络配置是至关重要的任务之一。本文详细解析了Firewalld和Netfilter机制,并探讨了iptables的应用。通过使用`ip addr show`命令来查看网卡IP地址(需要安装`iproute`包),当网卡未分配IP地址或处于关闭状态时,可以通过`ip link set`命令进行配置和激活。此外,文章还介绍了如何利用Firewalld和iptables实现网络流量控制和安全策略管理,为系统管理员提供了实用的操作指南。 ... [详细]
author-avatar
这辈子没有你
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有