热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Hadoop完全分布式搭建流程

centos7搭建完全分布式Hadoop环境s-s-r前言本次教程是以先创建四台虚拟机为基础,再配置好一台虚拟机的情况下,直接复制文件到另外的虚拟机中(这样做大大简化

   

centos7 搭建完全分布式 Hadoop 环境  s-s-r

 

前言
  本次教程是以先创建 四台虚拟机 为基础,再配置好一台虚拟机的情况下,直接复制文件到另外的虚拟机中(这样做大大简化了安装流程)
  且本次教程的jdk 和 hadoop 文件目录 均在 /root/apps(当然也可以根据个人情况进行选择

一,搭建前的基础准备(什么的搭建都得有基础设施)

 要求 =>

  1. 四台虚拟机 centos7(尽量都使用 centos7)
  2. 准备好 jdk 和 hadoop 文件
  3. 下好 xshell6 和 Xtfp 软件

  1.1 VM15的安装

   下载链接:https://pan.baidu.com/s/1jyHV40pI8UAd24kQkBkm-Q
   补充:如果之前下载有VM15以下版本,直接安装VM15覆盖即可。。不需要卸载原先版本

  1.2 centos7的下载

   下载网站:http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso
   下载快捷链接:http://mirrors.cqu.edu.cn/CentOS/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso

 

 

   1.3 xshell6 和 Xtfp 软件的下载(官网免费版)

   官网:https://www.netsarang.com/zh/all-downloads/?code=622

 

   补充:可以免费下载

  1.4 在 VM中新建虚拟机 centos7 (转载老师发的文件,已经很详细了)

 

 

二、软件、虚拟机准备好 后的准备工作

  目前,xshell6、xftp、vm15、虚拟机均已经安装成功,并且,虚拟机打开

1 ping www.baidu.com 
 发现也能 ping 成功、并且已经将 4 台虚拟机的 每个 ip信息均已记下,那么进行接下来的操作8

  2.1 xshell6的连接

 

 

 

 

 

 

 

 

 

 

 

 

   连接成功示例=-=

  2.2 静态ip的配置(理论上可以不用,但是防微杜渐,说不定哪天打开ip变动了,又要弄,麻烦了就,这里采用 四台机器同时操作的方法,利用xshell6)

-----------------------------------------------------------------------------------------------------------------------------------

补充:四机同操

  首先,全部连接后是这样

 

 

  然后右击上图蓝色框框,然后选择排列(A),再选择垂直排列,于是成了下面这样

 

 

  接下来,进行同时对四台进行输入操作

 

 

  这里可关,可开,非常方便,好比如果开 hadoop的时候,就将 hadop 主机的同操 OFF掉就可以
了 =-=

 

 

------------------------------------------------------------------------------------------------------------------------------------

 接下来进行 静态IP的配置(才入主题)

1 vi /etc/sysconfig/network-scripts/ifcfg-ens33

 

 

 

   修改其中的配置如下

 1 TYPE="Ethernet"
 2 PROXY_METHOD="none"
 3 BROWSER_OnLY="no"
 4 BOOTPROTO="static" # 原先是 dhcp 现在改为 static
 5 DEFROUTE="yes"
 6 IPV4_FAILURE_FATAL="no"
 7 IPV6INIT="yes"
 8 IPV6_AUTOCOnF="yes"
 9 IPV6_DEFROUTE="yes"
10 IPV6_FAILURE_FATAL="no"
11 IPV6_ADDR_GEN_MODE="stable-privacy"
12 NAME="ens33"
13 UUID="28c79750-7e98-4606-b893-f75f8aa4ac50"
14 DEVICE="ens33"
15 # 下面四行为增加内容,对应 ip 掩码 网关 DNS 前面记录的ip信息一一对应即可
16 IPADDR=192.168.136.xxx
17 NETMASK=255.255.255.0
18 GATEWAY=192.168.xxx.x
19 DNS1=192.168.xxx.x
20 OnBOOT="yes"
View Code

  然后 Esc  再 : 再 wq 保存 退出

 

----------------------------------------------------------------------------------------------------------------------------------

补充: vi 的基本使用方法

  vi 文件名.后缀 可以进去一个文件的编辑页面,默认为只读

  然后 i 一下,就进去了 INSERT 模式,可以进行文件内容的编辑
  再 ESC 一下,就又进去了只读模式。  
  那么 如何退出呢,三种方法
  :wq     保存退出
  :q        不保存退出
  :q!       不保存强制退出 (面对前一种无法退出的情况下的一种方法)
--------------------------------------------------------------------------------------------------------------------------------
  接下来,进行网络服务的更新(依据教程为 重启,个人觉得麻烦了点)
1 service network restart

 

 

 

 

 2.2 配置主机名

   在四台虚拟机上编辑hosts文件vi /etc/hosts
   在hosts文件中增加以下内容(以下 ip 和 名 均为 你自己的 ip 和 主机名)
1 · 192.168.100.129 hadop
2 · 192.168.100.130 hadop1
3 · 192.168.100.131 hadop2
4 · 192.168.100.132 hadop3

 

   同时修改Windows系统的host文件(C:\Windows\System32\drivers\etc)

 --------------------------------------------------------------------------------------------------------------------------------

补充:如何修改centos7的主机名

vi /etc/hostname

 

  进去后将里面的 名字 改成想改的就行,上面ip后接的名字 就是这里的主机名

 hostnamectl set-hostname

 

  永久保存

 

 

  判断是否生效,看这里即可

  --------------------------------------------------------------------------------------------------------------------------------

 后续待补


推荐阅读
  • 在 CentOS 6.5 系统上部署 VNC 服务器的详细步骤与配置指南
    在 CentOS 6.5 系统上部署 VNC 服务器时,首先需要确认 VNC 服务是否已安装。通常情况下,VNC 服务默认未安装。可以通过运行特定的查询命令来检查其安装状态。如果查询结果为空,则表明 VNC 服务尚未安装,需进行手动安装。此外,建议在安装前确保系统的软件包管理器已更新至最新版本,以避免兼容性问题。 ... [详细]
  • Android 构建基础流程详解
    Android 构建基础流程详解 ... [详细]
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
  • 本文介绍了 Go 语言中的高性能、可扩展、轻量级 Web 框架 Echo。Echo 框架简单易用,仅需几行代码即可启动一个高性能 HTTP 服务。 ... [详细]
  • Cookie学习小结
    Cookie学习小结 ... [详细]
  • Hadoop的文件操作位于包org.apache.hadoop.fs里面,能够进行新建、删除、修改等操作。比较重要的几个类:(1)Configurati ... [详细]
  • 通过将常用的外部命令集成到VSCode中,可以提高开发效率。本文介绍如何在VSCode中配置和使用自定义的外部命令,从而简化命令执行过程。 ... [详细]
  • 秒建一个后台管理系统?用这5个开源免费的Java项目就够了
    秒建一个后台管理系统?用这5个开源免费的Java项目就够了 ... [详细]
  • 在CentOS 7环境中安装配置Redis及使用Redis Desktop Manager连接时的注意事项与技巧
    在 CentOS 7 环境中安装和配置 Redis 时,需要注意一些关键步骤和最佳实践。本文详细介绍了从安装 Redis 到配置其基本参数的全过程,并提供了使用 Redis Desktop Manager 连接 Redis 服务器的技巧和注意事项。此外,还探讨了如何优化性能和确保数据安全,帮助用户在生产环境中高效地管理和使用 Redis。 ... [详细]
  • 在Linux系统中避免安装MySQL的简易指南
    在Linux系统中避免安装MySQL的简易指南 ... [详细]
  • 数字图书馆近期展出了一批精选的Linux经典著作,这些书籍虽然部分较为陈旧,但依然具有重要的参考价值。如需转载相关内容,请务必注明来源:小文论坛(http://www.xiaowenbbs.com)。 ... [详细]
  • Kafka 是由 Apache 软件基金会开发的高性能分布式消息系统,支持高吞吐量的发布和订阅功能,主要使用 Scala 和 Java 编写。本文将深入解析 Kafka 的安装与配置过程,为程序员提供详尽的操作指南,涵盖从环境准备到集群搭建的每一个关键步骤。 ... [详细]
  • MySQL 8.0 MGR 自动化部署与配置:DBA 和开源工具的高效解决方案
    MySQL 8.0 MGR 自动化部署与配置:DBA 和开源工具的高效解决方案 ... [详细]
  • 如何高效地安装并配置 PostgreSQL 数据库系统?本文将详细介绍从下载到安装、配置环境变量、初始化数据库、以及优化性能的全过程,帮助读者快速掌握 PostgreSQL 的核心操作与最佳实践。文章还涵盖了常见问题的解决方案,确保用户在部署过程中能够顺利解决遇到的各种挑战。 ... [详细]
author-avatar
xiaonq
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有