首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

如何搭建Hadoop的环境

作者：手机用户2502938443 | 来源：互联网 | 2023-08-21 22:24
本篇内容主要讲解“如何搭建Hadoop的环境”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“如何搭建Ha

本篇内容主要讲解“如何搭建Hadoop的环境”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“如何搭建Hadoop的环境”吧!

说明：这里我们以本地模式和伪分布模式伪列，为大家介绍如何搭建Hadoop环境。有了这个基础，大家可以自行搭建Hadoop的全分布模式。

需要使用的安装介质：

  • hadoop-2.7.3.tar.gz

  • jdk-8u181-linux-x64.tar.gz

  • rhel-server-7.4-x86_64-dvd.iso

一、安装前的准备工作

  • 安装好Redhat Linux 7.4（安装包rhel-server-7.4-x86_64-dvd.iso），并在Linux上创建tools和training两个目录

如何搭建Hadoop的环境

  •  关闭防火墙，执行下面的命令

1
2
systemctl stop firewalld.service
systemctl disable firewalld.service

  • 配置主机名，使用vi编辑器编辑文件/etc/hosts，输入以下内容

1
bigdata111  192.168.157.111

  • 配置免密码登录，在命令行中输入下面的命令

1
2
ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub root@bigdata111

二、安装JDK

  • 通过FTP工具将jdk-8u181-linux-x64.tar.gz和hadoop-2.7.3.tar.gz上传到Linux的/root/tools目录

如何搭建Hadoop的环境

  如何搭建Hadoop的环境

  •   在xshell中，解压jdk-8u181-linux-x64.tar.gz，执行下面的命令

1
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /root/training/

  • 设置Java的环境变量，使用vi编辑器编辑~/.bash_profile文件。执行下面的命令

1
vi /root/.bash_profile

  • 在vi编辑器中，输入以下内容

1
2
3
4
5
JAVA_HOME=/root/training/jdk1.8.0_181
export JAVA_HOME
 
PATH=$JAVA_HOME/bin:$PATH
export PATH

如何搭建Hadoop的环境

  •   生效环境变量，执行下面的命令

1
source /root/.bash_profile

　如何搭建Hadoop的环境

  •   输入下图中，红框中的命令验证Java环境

如何搭建Hadoop的环境

三、解压Hadoop，并设置环境变量

  •  执行下面的命令，解压hadoop-2.7.3.tar.gz

1
tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/

  • 设置Hadoop的环境变量，编辑~/.bash_profile文件，并输入以下内容

1
2
3
4
5
HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
 
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

如何搭建Hadoop的环境

  •  生效环境变量

1
source ~/.bash_profile

四、搭建Hadoop的本地模式

  •  进入目录/root/training/hadoop-2.7.3/etc/hadoop

  • 使用vi编辑器编辑文件：hadoop-env.sh

  • 修改JAVA_HOME

1
export JAVA_HOME=/root/training/jdk1.8.0_181

　　如何搭建Hadoop的环境

  •  测试Hadoop的本地模式，执行MapReduce程序。准备测试数据：vi ~/temp/data.txt

如何搭建Hadoop的环境

  •  输入下面的数据，并保存退出

如何搭建Hadoop的环境

  •  进入目录：/root/training/hadoop-2.7.3/share/hadoop/mapreduce

如何搭建Hadoop的环境

  •  执行WordCount任务

1
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp /root/output/wc

  • 根据下图的命令，查看输出结果

如何搭建Hadoop的环境

五、搭建Hadoop的伪分布模式

  •  首先，搭建好Hadoop的本地模式

  • 创建目录：/root/training/hadoop-2.7.3/tmp

1
mkdir /root/training/hadoop-2.7.3/tmp

  • 进入目录：/root/training/hadoop-2.7.3/etc/hadoop

1
cd /root/training/hadoop-2.7.3/etc/hadoop

  • 修改hdfs-site.xml

1
2
3
4
    dfs.replication</name>
    1</value>
</property>

　　如何搭建Hadoop的环境

  •  修改core-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
    fs.defaultFS</name>
    hdfs://bigdata111:9000</value>
</property>
 
    hadoop.tmp.dir</name>
    /root/training/hadoop-2.7.3/tmp</value>
</property>

　　如何搭建Hadoop的环境

  •  修改mapred-site.xml（注意：这个文件默认没有）

1
2
3
4
    mapreduce.framework.name</name>
    yarn</value>
</property>

　　如何搭建Hadoop的环境

  •  修改yarn-site.xml

1
2
3
4
5
6
7
8
9
10
11
    yarn.resourcemanager.hostname</name>
    bigdata111</value>
</property>
 
    yarn.nodemanager.aux-services</name>
    mapreduce_shuffle</value>
</property>

　　如何搭建Hadoop的环境

  •  格式化NameNode

1
hdfs namenode -format

　　如何搭建Hadoop的环境

  •  启动Hadoop

1
start-all.sh

　　如何搭建Hadoop的环境

  •  访问Web Console

1
2
http://192.168.157.111:50070
http://192.168.157.111:8088

如何搭建Hadoop的环境

如何搭建Hadoop的环境

到此，相信大家对“如何搭建Hadoop的环境”有了更深的了解，不妨来实际操作一番吧！这里是编程笔记网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！


推荐阅读
  • uri

    Apache Shiro 身份验证绕过漏洞 (CVE202011989) 详细解析及防范措施

    Apache Shiro 身份验证绕过漏洞 (CVE202011989) 详细解析及防范措施
    本文详细解析了Apache Shiro 身份验证绕过漏洞 (CVE202011989) 的原理和影响，并提供了相应的防范措施。Apache Shiro 是一个强大且易用的Java安全框架，常用于执行身份验证、授权、密码和会话管理。在Apache Shiro 1.5.3之前的版本中，与Spring控制器一起使用时，存在特制请求可能导致身份验证绕过的漏洞。本文还介绍了该漏洞的具体细节，并给出了防范该漏洞的建议措施。 ... [详细]
  • uri

    如何使用PLEX播放组播、抓取信号源以及设置路由器

    如何使用PLEX播放组播、抓取信号源以及设置路由器
    本文介绍了如何使用PLEX播放组播、抓取信号源以及设置路由器。通过使用xTeve软件和M3U源，用户可以在PLEX上实现直播功能，并且可以自动匹配EPG信息和定时录制节目。同时，本文还提供了从华为itv盒子提取组播地址的方法以及如何在ASUS固件路由器上设置IPTV。在使用PLEX之前，建议先使用VLC测试是否可以正常播放UDPXY转发的iptv流。最后，本文还介绍了docker版xTeve的设置方法。 ... [详细]
  • uri

    CentOS 7配置SSH远程访问及控制

    CentOS 7配置SSH远程访问及控制
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • main

    MR程序的几种提交运行模式

    MR程序的几种提交运行模式本地模型运行1在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行-- ... [详细]
  • config

    Linux服务器密码过期策略、登录次数限制、私钥登录等配置方法

    Linux服务器密码过期策略、登录次数限制、私钥登录等配置方法
    本文介绍了在Linux服务器上进行密码过期策略、登录次数限制、私钥登录等配置的方法。通过修改配置文件中的参数，可以设置密码的有效期、最小间隔时间、最小长度，并在密码过期前进行提示。同时还介绍了如何进行公钥登录和修改默认账户用户名的操作。详细步骤和注意事项可参考本文内容。 ... [详细]
  • config

    如何在服务器主机上实现文件共享的方法和工具

    如何在服务器主机上实现文件共享的方法和工具
    本文介绍了在服务器主机上实现文件共享的方法和工具，包括Linux主机和Windows主机的文件传输方式，Web运维和FTP/SFTP客户端运维两种方式，以及使用WinSCP工具将文件上传至Linux云服务器的操作方法。此外，还介绍了在迁移过程中需要安装迁移Agent并输入目的端服务器所在华为云的AK/SK，以及主机迁移服务会收集的源端服务器信息。 ... [详细]
  • copy

    Patch ODA X8 : 19.9 到 19.11

    PatchODAX8: ... [详细]
  • copy

    LINUX学习之centos7营救模式

    LINUX学习之centos7营救模式
    今天卸载软件的时候，不小心把GNOME的一些组件给卸了，导致桌面无法正常开启，会卡在启动过程中，而我的开机启动模式又是设置为图形界面，所以一开LINUX就卡住了，进入不了命令行界面 ... [详细]
  • copy

    windows部署hadoop2.7.0

        这里使用自己编译的hadoop-2.7.0版本部署在windows上，记得几年前，部署hadoop需要借助于cygwin，还需要开启ssh服务，最近发现，原来不需要借助cy ... [详细]
  • copy

    docker安装到基本使用

    docker安装到基本使用
    记录docker概念，安装及入门日常使用Docker安装查看官方文档，在&quot;Debian上安装Docker&quot;，其他平台在&quot;这里查 ... [详细]
  • select

    如何在mysql shell命令中执行sql命令行

    如何在mysqlshell命令中执行sql命令行本文介绍MySQL8.0shell子模块Util的两个导入特性importTableimport_table(JS和python版本 ... [详细]
  • select

    【转】腾讯分析系统架构解析

    【转】腾讯分析系统架构解析
    TA（TencentAnalytics，腾讯分析）是一款面向第三方站长的免费网站分析系统，在数据稳定性、及时性方面广受站长好评，其秒级的实时数据更新频率也获得业界的认可。本文将从实 ... [详细]
  • select

    Kylin 单节点安装

    Kylin 单节点安装
    软件环境Hadoop:2.7,3.1(sincev2.5)Hive:0.13-1.2.1HBase:1.1,2.0(sincev2.5)Spark(optional)2.3.0K ... [详细]
  • select

    x86 linux的进程调度,x86体系结构下Linux2.6.26的进程调度和切换

    x86 linux的进程调度,x86体系结构下Linux2.6.26的进程调度和切换
    进程调度相关数据结构task_structtask_struct是进程在内核中对应的数据结构，它标识了进程的状态等各项信息。其中有一项thread_struct结构的 ... [详细]
  • usb

    Kali Linux 简介

    Kali Linux 简介
    KaliLinux是世界渗透测试行业公认的优秀的网络安全审计工具集合，它可以通过对设备的探测来审计其安全性，而且功能完备，几乎包含了目前所 ... [详细]
author-avatar
手机用户2502938443
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有