Apache社区已投票决定发布Apache Hadoop 2.4.0,因此新版本现已可用,并进行了重要改进。 这些改进不仅与HDFS有关,而且与MapReduce有关 。
HDFS的重要改进是关于NameNodes。 现在使用了多个相互独立的独立Namenodes和Namespaces。 数据节点被所有名称节点用作块的公共存储,并且每个数据节点向集群中的所有名称节点注册。 心跳和阻止报告从数据节点发送到名称节点,名称节点发送回由数据节点处理的命令。
MapReduce的更改主要与ResourceManager有关。 从Hadoop的0.23版本开始,JobTracker的两个主要功能,资源管理和作业生命周期管理被分离为单独的组件。 在此版本中,新的ResourceManager管理应用程序的全局资源分配,而每个应用程序的ApplicationMaster管理应用程序的调度和协调。 每个应用程序ApplicationMaster是特定于框架的库,其任务是与ResourceManager协商资源,并与NodeManager一起执行和监视任务。
有兴趣开始使用Hadoop吗? 请查看我们的免费白皮书“ Hadoop照亮” !
翻译自: https://www.javacodegeeks.com/2014/04/apache-hadoop-2-4-0.html