热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Hadoop完全分布式配置(测试通过)

2019独角兽企业重金招聘Python工程师标准IPNamenodeSecondaryNamenodeDataNodemaster192.168.1.2001slave119

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

 IPNamenodeSecondaryNamenodeDataNode
master192.168.1.2001  
slave1192.168.1.201 11
slave2192.168.1.202  1
slave3192.168.1.203  1

 

网络配置 hosts 防火墙关闭

#vim /etc/hosts
192.168.1.200 master
192.168.1.201 slave1
192.168.1.202 slave2
192.168.1.203 slave3#window hosts文件修改
192.168.1.200 master
192.168.1.201 slave1
192.168.1.202 slave2
192.168.1.203 slave3service iptables stop
chkconfig iptables off

时间同步(NN SNN DN 同步时间)

### s1a.time.du.cn 时间同步服务器
ntpdate s1a.time.du.cn

免密钥设置

ssh-keygen -t rsa(master主机上)
ssh-copy-id -i ~/.ssh/id_rsa.pub root@master(master主机上)
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1(master主机上)
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave2(master主机上)
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave3(master主机上)###测试访问
ssh slave1

jdk 配置环境变量

#cd /tmp/
#tar xf hadoop-2.5.1_x64.tar.gz
#mv hadoop-2.5.1 /opt/hadoop
#vim /etc/profile 添加(hadoop环境变量所有机器都需要)
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$PATH:$HADOOP_HOME/sbin
#source /etc/profile
测试
#echo $JAVA_HOME
#echo $HADOOP_HOME

修改各项配置文件

etc/hadoop/core-site.xml:
fs.defaultFShdfs://master:9000hadoop.tmp.dir/opt/hadoop-tmp
etc/hadoop/hdfs-site.xml:
dfs.replication3dfs.namenode.secondary.http-addressslave1:50090
#vim etc/hadoop/masters--手动创建
slave1#vim etc/hadoop/slaves-手动创建
slave1
slave2
slave3

同步配置文件然后格式化

###同步master机器上hadoop所有配置文件(*)
scp -r /opt/hadoop-2.5.1/ root@slave1:/opt/
scp -r /opt/hadoop-2.5.1/ root@slave2:/opt/
scp -r /opt/hadoop-2.5.1/ root@slave3:/opt/###格式化namenode(master主机上)
hdfs namenode -formatstart-dfs.sh
通过浏览器访问:http://192.168.1.200:50070


转:https://my.oschina.net/rosetta/blog/747098



推荐阅读
  • 本文详细介绍了 Java 网站开发的相关资源和步骤,包括常用网站、开发环境和框架选择。 ... [详细]
  • 为什么多数程序员难以成为架构师?
    探讨80%的程序员为何难以晋升为架构师,涉及技术深度、经验积累和综合能力等方面。本文将详细解析Tomcat的配置和服务组件,帮助读者理解其内部机制。 ... [详细]
  • 本文详细介绍了如何在 Linux 系统上安装 JDK 1.8、MySQL 和 Redis,并提供了相应的环境配置和验证步骤。 ... [详细]
  • Java高并发与多线程(二):线程的实现方式详解
    本文将深入探讨Java中线程的三种主要实现方式,包括继承Thread类、实现Runnable接口和实现Callable接口,并分析它们之间的异同及其应用场景。 ... [详细]
  • WPF项目学习.一
    WPF项目搭建版权声明:本文为博主初学经验,未经博主允许不得转载。一、前言记录在学习与制作WPF过程中遇到的解决方案。使用MVVM的优点是数据和视图分离,双向绑定,低耦合,可重用行 ... [详细]
  • 事件是程序各部分之间的一种通信方式,也是异步编程的一种实现形式。本文将详细介绍EventTarget接口及其相关方法,以及如何使用监听函数处理事件。 ... [详细]
  • Spring 中 Bean 信息定义的三种方法探讨
    本文详细探讨了 Spring 框架中实现 Bean 信息定义的三种方法:基于 XML 配置、基于注解配置和基于 Java 类配置。每种方法都有其适用场景和优缺点。 ... [详细]
  • 本文详细介绍了Java代码分层的基本概念和常见分层模式,特别是MVC模式。同时探讨了不同项目需求下的分层策略,帮助读者更好地理解和应用Java分层思想。 ... [详细]
  • 基于iSCSI的SQL Server 2012群集测试(一)SQL群集安装
    一、测试需求介绍与准备公司计划服务器迁移过程计划同时上线SQLServer2012,引入SQLServer2012群集提高高可用性,需要对SQLServ ... [详细]
  • 解决Only fullscreen opaque activities can request orientation错误的方法
    本文介绍了在使用PictureSelectorLight第三方框架时遇到的Only fullscreen opaque activities can request orientation错误,并提供了一种有效的解决方案。 ... [详细]
  • 本文详细介绍了 PHP 中对象的生命周期、内存管理和魔术方法的使用,包括对象的自动销毁、析构函数的作用以及各种魔术方法的具体应用场景。 ... [详细]
  • 本文介绍了如何利用HTTP隧道技术在受限网络环境中绕过IDS和防火墙等安全设备,实现RDP端口的暴力破解攻击。文章详细描述了部署过程、攻击实施及流量分析,旨在提升网络安全意识。 ... [详细]
  • 本文详细介绍了 InfluxDB、collectd 和 Grafana 的安装与配置流程。首先,按照启动顺序依次安装并配置 InfluxDB、collectd 和 Grafana。InfluxDB 作为时序数据库,用于存储时间序列数据;collectd 负责数据的采集与传输;Grafana 则用于数据的可视化展示。文中提供了 collectd 的官方文档链接,便于用户参考和进一步了解其配置选项。通过本指南,读者可以轻松搭建一个高效的数据监控系统。 ... [详细]
  • 在PHP中如何正确调用JavaScript变量及定义PHP变量的方法详解 ... [详细]
  • 本文详细介绍了在CentOS 6.5 64位系统上使用阿里云ECS服务器搭建LAMP环境的具体步骤。首先,通过PuTTY工具实现远程连接至服务器。接着,检查当前系统的磁盘空间使用情况,确保有足够的空间进行后续操作,可使用 `df` 命令进行查看。此外,文章还涵盖了安装和配置Apache、MySQL和PHP的相关步骤,以及常见问题的解决方法,帮助用户顺利完成LAMP环境的搭建。 ... [详细]
author-avatar
極點創意文化
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有