Hadoop学习笔记之一

Apache™Hadoop®项目开发了用于可靠&＃xff0c;可扩展的分布式计算的开源软件。

Apache Hadoop软件库是一个框架&＃xff0c;允许使用简单的编程模型跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台计算机&＃xff0c;每台计算机都提供本地计算和存储。 该库本身不是依靠硬件来提供高可用性&＃xff0c;而是设计用于检测和处理应用层的故障&＃xff0c;从而在计算机集群之上提供高可用性服务&＃xff0c;每个计算机都可能容易出现故障。

至2019年5月30日&＃xff0c;最新版本为

Release 3.1.2 版本

Hadoop框架包含如下6个模块&＃xff1a;

• Hadoop Common:支持其他Hadoop模块的常用实用程序。

• Hadoop Distributed File System(HDFS):一种分布式文件系统&＃xff0c;提供对应用程序数据的高吞吐量访问。

• Hadoop YARN:作业调度和集群资源管理的框架。

• Hadoop MapReduce:基于YARN的系统&＃xff0c;用于并行处理大型数据集的计算框架。

• Hadoop Ozone:Hadoop的对象存储。

• Hadoop Submarine:Hadoop的机器学习引擎。