热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Hadoop完全分布式搭建流程

centos7搭建完全分布式Hadoop环境s-s-r前言本次教程是以先创建四台虚拟机为基础,再配置好一台虚拟机的情况下,直接复制文件到另外的虚拟机中(这样做大大简化

   

centos7 搭建完全分布式 Hadoop 环境  s-s-r

 

前言
  本次教程是以先创建 四台虚拟机 为基础,再配置好一台虚拟机的情况下,直接复制文件到另外的虚拟机中(这样做大大简化了安装流程)
  且本次教程的jdk 和 hadoop 文件目录 均在 /root/apps(当然也可以根据个人情况进行选择

一,搭建前的基础准备(什么的搭建都得有基础设施)

 要求 =>

  1. 四台虚拟机 centos7(尽量都使用 centos7)
  2. 准备好 jdk 和 hadoop 文件
  3. 下好 xshell6 和 Xtfp 软件

  1.1 VM15的安装

   下载链接:https://pan.baidu.com/s/1jyHV40pI8UAd24kQkBkm-Q
   补充:如果之前下载有VM15以下版本,直接安装VM15覆盖即可。。不需要卸载原先版本

  1.2 centos7的下载

   下载网站:http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso
   下载快捷链接:http://mirrors.cqu.edu.cn/CentOS/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso

 

 

   1.3 xshell6 和 Xtfp 软件的下载(官网免费版)

   官网:https://www.netsarang.com/zh/all-downloads/?code=622

 

   补充:可以免费下载

  1.4 在 VM中新建虚拟机 centos7 (转载老师发的文件,已经很详细了)

 

 

二、软件、虚拟机准备好 后的准备工作

  目前,xshell6、xftp、vm15、虚拟机均已经安装成功,并且,虚拟机打开

1 ping www.baidu.com 
 发现也能 ping 成功、并且已经将 4 台虚拟机的 每个 ip信息均已记下,那么进行接下来的操作8

  2.1 xshell6的连接

 

 

 

 

 

 

 

 

 

 

 

 

   连接成功示例=-=

  2.2 静态ip的配置(理论上可以不用,但是防微杜渐,说不定哪天打开ip变动了,又要弄,麻烦了就,这里采用 四台机器同时操作的方法,利用xshell6)

-----------------------------------------------------------------------------------------------------------------------------------

补充:四机同操

  首先,全部连接后是这样

 

 

  然后右击上图蓝色框框,然后选择排列(A),再选择垂直排列,于是成了下面这样

 

 

  接下来,进行同时对四台进行输入操作

 

 

  这里可关,可开,非常方便,好比如果开 hadoop的时候,就将 hadop 主机的同操 OFF掉就可以
了 =-=

 

 

------------------------------------------------------------------------------------------------------------------------------------

 接下来进行 静态IP的配置(才入主题)

1 vi /etc/sysconfig/network-scripts/ifcfg-ens33

 

 

 

   修改其中的配置如下

 1 TYPE="Ethernet"
 2 PROXY_METHOD="none"
 3 BROWSER_OnLY="no"
 4 BOOTPROTO="static" # 原先是 dhcp 现在改为 static
 5 DEFROUTE="yes"
 6 IPV4_FAILURE_FATAL="no"
 7 IPV6INIT="yes"
 8 IPV6_AUTOCOnF="yes"
 9 IPV6_DEFROUTE="yes"
10 IPV6_FAILURE_FATAL="no"
11 IPV6_ADDR_GEN_MODE="stable-privacy"
12 NAME="ens33"
13 UUID="28c79750-7e98-4606-b893-f75f8aa4ac50"
14 DEVICE="ens33"
15 # 下面四行为增加内容,对应 ip 掩码 网关 DNS 前面记录的ip信息一一对应即可
16 IPADDR=192.168.136.xxx
17 NETMASK=255.255.255.0
18 GATEWAY=192.168.xxx.x
19 DNS1=192.168.xxx.x
20 OnBOOT="yes"
View Code

  然后 Esc  再 : 再 wq 保存 退出

 

----------------------------------------------------------------------------------------------------------------------------------

补充: vi 的基本使用方法

  vi 文件名.后缀 可以进去一个文件的编辑页面,默认为只读

  然后 i 一下,就进去了 INSERT 模式,可以进行文件内容的编辑
  再 ESC 一下,就又进去了只读模式。  
  那么 如何退出呢,三种方法
  :wq     保存退出
  :q        不保存退出
  :q!       不保存强制退出 (面对前一种无法退出的情况下的一种方法)
--------------------------------------------------------------------------------------------------------------------------------
  接下来,进行网络服务的更新(依据教程为 重启,个人觉得麻烦了点)
1 service network restart

 

 

 

 

 2.2 配置主机名

   在四台虚拟机上编辑hosts文件vi /etc/hosts
   在hosts文件中增加以下内容(以下 ip 和 名 均为 你自己的 ip 和 主机名)
1 · 192.168.100.129 hadop
2 · 192.168.100.130 hadop1
3 · 192.168.100.131 hadop2
4 · 192.168.100.132 hadop3

 

   同时修改Windows系统的host文件(C:\Windows\System32\drivers\etc)

 --------------------------------------------------------------------------------------------------------------------------------

补充:如何修改centos7的主机名

vi /etc/hostname

 

  进去后将里面的 名字 改成想改的就行,上面ip后接的名字 就是这里的主机名

 hostnamectl set-hostname

 

  永久保存

 

 

  判断是否生效,看这里即可

  --------------------------------------------------------------------------------------------------------------------------------

 后续待补


推荐阅读
  • 本文分享了一个关于在C#中使用异步代码的问题,作者在控制台中运行时代码正常工作,但在Windows窗体中却无法正常工作。作者尝试搜索局域网上的主机,但在窗体中计数器没有减少。文章提供了相关的代码和解决思路。 ... [详细]
  • Oracle优化新常态的五大禁止及其性能隐患
    本文介绍了Oracle优化新常态中的五大禁止措施,包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB,并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况,并提出了解决方案。 ... [详细]
  • 嵌入式处理器的架构与内核发展历程
    本文主要介绍了嵌入式处理器的架构与内核发展历程,包括不同架构的指令集的变化,以及内核的流水线和结构。通过对ARM架构的分析,可以更好地理解嵌入式处理器的架构与内核的关系。 ... [详细]
  • Unity3D引擎的体系结构和功能详解
    本文详细介绍了Unity3D引擎的体系结构和功能。Unity3D是一个屡获殊荣的工具,用于创建交互式3D应用程序。它由游戏引擎和编辑器组成,支持C#、Boo和JavaScript脚本编程。该引擎涵盖了声音、图形、物理和网络功能等主题。Unity编辑器具有多语言脚本编辑器和预制装配系统等特点。本文还介绍了Unity的许可证情况。Unity基本功能有限的免费,适用于PC、MAC和Web开发。其他平台或完整的功能集需要购买许可证。 ... [详细]
  • POCOCLibraies属于功能广泛、轻量级别的开源框架库,它拥有媲美Boost库的功能以及较小的体积广泛应用在物联网平台、工业自动化等领域。POCOCLibrai ... [详细]
  • 基于PgpoolII的PostgreSQL集群安装与配置教程
    本文介绍了基于PgpoolII的PostgreSQL集群的安装与配置教程。Pgpool-II是一个位于PostgreSQL服务器和PostgreSQL数据库客户端之间的中间件,提供了连接池、复制、负载均衡、缓存、看门狗、限制链接等功能,可以用于搭建高可用的PostgreSQL集群。文章详细介绍了通过yum安装Pgpool-II的步骤,并提供了相关的官方参考地址。 ... [详细]
  • 本文介绍了在Windows环境下如何配置php+apache环境,包括下载php7和apache2.4、安装vc2015运行时环境、启动php7和apache2.4等步骤。希望对需要搭建php7环境的读者有一定的参考价值。摘要长度为169字。 ... [详细]
  • 本文记录了作者对x265开源代码的实现与框架进行学习与探索的过程,包括x265的下载地址与参考资料,以及在Win7 32 bit PC、VS2010平台上的安装与配置步骤。 ... [详细]
  • 本文概述了JNI的原理以及常用方法。JNI提供了一种Java字节码调用C/C++的解决方案,但引用类型不能直接在Native层使用,需要进行类型转化。多维数组(包括二维数组)都是引用类型,需要使用jobjectArray类型来存取其值。此外,由于Java支持函数重载,根据函数名无法找到对应的JNI函数,因此介绍了JNI函数签名信息的解决方案。 ... [详细]
  • 通过Anaconda安装tensorflow,并安装运行spyder编译器的完整教程
    本文提供了一个完整的教程,介绍了如何通过Anaconda安装tensorflow,并安装运行spyder编译器。文章详细介绍了安装Anaconda、创建tensorflow环境、安装GPU版本tensorflow、安装和运行Spyder编译器以及安装OpenCV等步骤。该教程适用于Windows 8操作系统,并提供了相关的网址供参考。通过本教程,读者可以轻松地安装和配置tensorflow环境,以及运行spyder编译器进行开发。 ... [详细]
  • 如何使用PLEX播放组播、抓取信号源以及设置路由器
    本文介绍了如何使用PLEX播放组播、抓取信号源以及设置路由器。通过使用xTeve软件和M3U源,用户可以在PLEX上实现直播功能,并且可以自动匹配EPG信息和定时录制节目。同时,本文还提供了从华为itv盒子提取组播地址的方法以及如何在ASUS固件路由器上设置IPTV。在使用PLEX之前,建议先使用VLC测试是否可以正常播放UDPXY转发的iptv流。最后,本文还介绍了docker版xTeve的设置方法。 ... [详细]
  • 目录1、将mysql数据导出到SQL文件中(数据库存在的情况)2、将现有的sql文件数据导入到数据库中(前提数据库存在) 3、利用Navicat导出SQL文件和导入SQL文件1)从 ... [详细]
  • 交换机配置:intg100unshintvlani1ipadd192.168.56.177qstelseuser-iv4authaaaproinsshupl3qsshuserpyt ... [详细]
  • 1、DashAPI文档Dash是一个API文档浏览器,使用户可以使用离线功能即时搜索无数API。程序员使用Dash可访问iOS,MacOS, ... [详细]
  • 本人新手,用Unity3D想做一个简单的赛车游戏,现在的问题是转弯的时候很容易出现翻车的情况,求解决思路比如说你的中心是在(0,0,0),你把他设置成(0,-1.0,0)之类的就可 ... [详细]
author-avatar
xiaonq
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有