当前位置: 开发笔记 > 编程语言 > 正文

Hadoop学习笔记1：伪分布式环境搭建

作者：wugege | 来源：互联网 | 2023-10-16 16:04

在搭建Hadoop环境之前，请先阅读如下博文，把搭建Hadoop环境之前的准备工作做好，博文如下： 1、CentOS6.7下安装JDK,地址：http:b

在搭建Hadoop环境之前，请先阅读如下博文，把搭建Hadoop环境之前的准备工作做好，博文如下：

1、CentOS 6.7下安装JDK , 地址： http://blog.csdn.net/yulei_qq/article/details/51925673

2、CenOS虚拟机和Windows通信，地址：http://blog.csdn.net/yulei_qq/article/details/51930736

Hadoop 安装文件下载

本人使用的安装版本文件是hadoop-2.4.1.tar.gz ，下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/

Hadoop 伪分布式环境搭建

[root@itcast01 ~]# mkdir /itcast

2、解压缩刚下载的hadoop文件到 itcast目录下.

[root@itcast01 ~]# tar -zxvf hadoop-2.4.1.tar.gz  -C /itcast

3、进入该itcast目录下查看解压后的hadoop文件.

4、解压塑之后，就需要配置Hadoop的环境变量，跟配置JDK环境变量差不多。

root@itcast01 hadoop-2.4.1]# vim /etc/profile

配置好之后，保存退出，执行命令source /etc/profile ，刷新配置.

5、Hadoop 配置文件修改.

要搭建Hadoop伪分布式环境，需要修改5个配置文件，配置文件都在 /itcast/hadoop-2.4.1/etc/hadoop 目录下面

(1) hadoop-env.sh 文件修改

(2) core-site.xml 文件修改

[root@itcast01 hadoop]# vim core-site.xml


   
    
         fs.defaultFS
         hdfs://itcast01:9000
    
    
     
         hadoop.tmp.dir
         /itcast/hadoop-2.4.1/tmp

(3)hdfs-site.xml 文件修改


       
       
           dfs.replication
           1

(4) mapred-site.xml 文件修改.

原先文件是 mapred-site.xml.template ，所以需要重命名.

[root@itcast01 hadoop]# mv mapred-site.xml.template   mapred-site.xml

(5) yarn-site.xml 文件修改


           
           
                yarn.nodemanager.aux-services
                mapreduce_shuffle
           
           
           
                yarn.resourcemanager.hostname
                itcast01

6、初始化HDFS (格式化文件系统)

1、执行该命令 hdfs namenode format

格式化之后，会在hadoop目录下生成一个tmp 目录.

7、启动Hadoop

进入hadoop的sbin目录下，可以看见看到有很多启动文件命令.

[root@itcast01 sbin]# pwd
/itcast/hadoop-2.4.1/sbin
[root@itcast01 sbin]# ll
total 116
-rwxr-xr-x. 1 67974 users 2752 Jun 21  2014 distribute-exclude.sh
-rwxr-xr-x. 1 67974 users 5814 Jun 21  2014 hadoop-daemon.sh
-rwxr-xr-x. 1 67974 users 1360 Jun 21  2014 hadoop-daemons.sh
-rwxr-xr-x. 1 67974 users 1597 Jun 21  2014 hdfs-config.cmd
-rwxr-xr-x. 1 67974 users 1427 Jun 21  2014 hdfs-config.sh
-rwxr-xr-x. 1 67974 users 2291 Jun 21  2014 httpfs.sh
-rwxr-xr-x. 1 67974 users 4063 Jun 21  2014 mr-jobhistory-daemon.sh
-rwxr-xr-x. 1 67974 users 1648 Jun 21  2014 refresh-namenodes.sh
-rwxr-xr-x. 1 67974 users 2145 Jun 21  2014 slaves.sh
-rwxr-xr-x. 1 67974 users 1727 Jun 21  2014 start-all.cmd
-rwxr-xr-x. 1 67974 users 1471 Jun 21  2014 start-all.sh
-rwxr-xr-x. 1 67974 users 1128 Jun 21  2014 start-balancer.sh
-rwxr-xr-x. 1 67974 users 1360 Jun 21  2014 start-dfs.cmd
-rwxr-xr-x. 1 67974 users 3705 Jun 21  2014 start-dfs.sh
-rwxr-xr-x. 1 67974 users 1357 Jun 21  2014 start-secure-dns.sh
-rwxr-xr-x. 1 67974 users 1524 Jun 21  2014 start-yarn.cmd
-rwxr-xr-x. 1 67974 users 1347 Jun 21  2014 start-yarn.sh
-rwxr-xr-x. 1 67974 users 1718 Jun 21  2014 stop-all.cmd
-rwxr-xr-x. 1 67974 users 1462 Jun 21  2014 stop-all.sh
-rwxr-xr-x. 1 67974 users 1179 Jun 21  2014 stop-balancer.sh
-rwxr-xr-x. 1 67974 users 1414 Jun 21  2014 stop-dfs.cmd
-rwxr-xr-x. 1 67974 users 3206 Jun 21  2014 stop-dfs.sh
-rwxr-xr-x. 1 67974 users 1340 Jun 21  2014 stop-secure-dns.sh
-rwxr-xr-x. 1 67974 users 1595 Jun 21  2014 stop-yarn.cmd
-rwxr-xr-x. 1 67974 users 1340 Jun 21  2014 stop-yarn.sh
-rwxr-xr-x. 1 67974 users 4278 Jun 21  2014 yarn-daemon.sh
-rwxr-xr-x. 1 67974 users 1353 Jun 21  2014 yarn-daemons.sh

启动Hadoop.

使用start-all.sh 启动，需要多次输入密码，非常不方便. 从上面截图可以看出，已经正常启动了. 接下来用浏览器进行验证：

http://192.168.8.118:50070 （HDFS管理界面）
http://192.168.8.118:8088 （MR管理界面）

推荐阅读

perl
精选10款Python框架助力并行与分布式机器学习

随着神经网络模型的不断深化和复杂化，训练这些模型变得愈发具有挑战性，不仅需要处理大量的权重，还必须克服内存限制等问题。本文将介绍10款优秀的Python框架，帮助开发者高效地实现分布式和并行化的深度学习模型训练。 ... [详细]

蜡笔小新 2024-11-20 19:44:05
window
流处理中的计数挑战与解决方案

本文探讨了在流处理中进行计数的各种技术和挑战，并基于作者在2016年圣何塞举行的Hadoop World大会上的演讲进行了深入分析。文章不仅介绍了传统批处理和Lambda架构的局限性，还详细探讨了流处理架构的优势及其在现代大数据应用中的重要作用。 ... [详细]

蜡笔小新 2024-11-20 13:50:01
window
深入解析：存储技术的演变与发展

本文探讨了从单机文件系统到分布式文件系统的存储技术发展过程，详细解释了各种存储模型及其特点。 ... [详细]

蜡笔小新 2024-11-19 11:25:40
window
【转】强大的矩阵奇异值分解(SVD)及其应用

在工程实践中，经常要对大矩阵进行计算，除了使用分布式处理方法以外，就是通过理论方法，对矩阵降维。一下文章，我在 ... [详细]

蜡笔小新 2024-11-16 12:44:31
window
Hadoop 架构详解：核心组件解析

本文介绍了Hadoop的核心组件，包括高可靠性和高吞吐量的分布式文件系统HDFS、分布式的离线并行计算框架MapReduce、作业调度与集群资源管理框架YARN以及支持其他模块的工具模块Common。 ... [详细]

蜡笔小新 2024-11-16 12:13:59
window
大数据领域的职业路径与角色解析

本文将深入探讨大数据领域的各种职业和工作角色，帮助读者全面了解大数据行业的需求、市场趋势，以及从入门到高级专业人士的职业发展路径。文章还将详细介绍不同公司对大数据人才的需求，并解析各岗位的具体职责、所需技能和经验。 ... [详细]

蜡笔小新 2024-11-16 08:54:03
数组
Spark 弹性分布式数据集详解

本文详细介绍了 Spark 中的弹性分布式数据集（RDD）及其常见的操作方法，包括 union、intersection、cartesian、subtract、join、cogroup 等转换操作，以及 count、collect、reduce、take、foreach、first、saveAsTextFile 等行动操作。 ... [详细]

蜡笔小新 2024-11-14 15:44:57
数组
日志处理流程：Flume+MapReduce+Hive+Sqoop+MySQL

本文介绍了如何使用Flume从Linux文件系统收集日志并存储到HDFS，然后通过MapReduce清洗数据，使用Hive进行数据分析，并最终通过Sqoop将结果导出到MySQL数据库。 ... [详细]

蜡笔小新 2024-11-13 18:47:34
数组
探索阿里巴巴的开源世界

从理想主义者的内心深处萌发的技术信仰，推动了云原生技术在全球范围内的快速发展。本文将带你深入了解阿里巴巴在开源领域的贡献与成就。 ... [详细]

蜡笔小新 2024-11-21 09:06:54
数组
深入理解云计算与大数据技术

本文详细探讨了云计算与大数据技术的关键知识点，包括大数据处理平台、社会网络大数据、城市大数据、工业大数据、教育大数据、数据开放与共享的应用，以及搜索引擎与Web挖掘、推荐技术的研究及应用。文章还涵盖了云计算的基础概念、特点和服务类型分类。 ... [详细]

蜡笔小新 2024-11-20 13:24:51
utf-8
解决PHP及Web开发中的UTF-8乱码问题

本文详细探讨了在Web开发中常见的UTF-8编码问题及其解决方案，包括HTML页面、PHP脚本、MySQL数据库以及JavaScript和Flash应用中的乱码问题。 ... [详细]

蜡笔小新 2024-11-20 10:58:03
utf-8
构建用户画像环境：Hive与SparkSQL的高效整合

本文介绍如何通过整合SparkSQL与Hive来构建高效的用户画像环境，提高数据处理速度和查询效率。 ... [详细]

蜡笔小新 2024-11-19 09:44:24
utf-8
解析与应用：org.apache.hadoop.hdfs.server.namenode.FSNamesystem.shouldUseDelegationTokens() 方法

本文详细介绍了 `org.apache.hadoop.hdfs.server.namenode.FSNamesystem.shouldUseDelegationTokens()` 方法的用途和实际应用场景，并提供了多个代码示例以帮助开发者更好地理解和使用该方法。 ... [详细]

蜡笔小新 2024-11-18 17:59:10
utf-8
Ubuntu 环境下配置 LAMP 服务器

本文详细介绍了如何在 Ubuntu 系统上安装和配置 LAMP（Linux、Apache、MySQL 和 PHP）服务器。包括 Apache 的安装、PHP 的配置以及 MySQL 数据库的设置，确保读者能够顺利搭建完整的 Web 开发环境。 ... [详细]

蜡笔小新 2024-11-17 11:05:00
utf-8
Hadoop Datanode DataXceiver 错误处理问题

Ambari 每分钟会向 Datanode 发送一次“ping”请求以确保其正常运行。然而，Datanode 在处理空内容时没有相应的逻辑，导致出现错误。 ... [详细]

蜡笔小新 2024-11-16 21:12:43