Hadoop基础学习笔记系列（三）Hadoop堆栈

• Hadoop Common
• HDFS
• YARN
• MR

• HBase
  支持大型表的可扩展数据仓库
• Hive
  数据仓库基础设施&＃xff0c;提供数据摘要和即席查询
• Pig
  高级数据流语言和并行计算执行框架
• Spark
  快速通用的计算引擎&＃xff0c;可以使用HDFS文件系统。
  

最初的设计

• 可扩展的分布式文件系统
• 使用节点&＃xff08;nodes&＃xff09;将数据分布在本地磁盘上
• 多个低成本商品磁盘&＃xff0c;高performance

goal&＃xff1a;

• resilience&＃xff08;快速恢复的能力&＃xff09;&＃xff08;因为有多个磁盘工作&＃xff0c;要防止其中的磁盘failure&＃xff09;
• 可扩展
• 本地应用
• 轻量级

设计

• 多个datanode&＃xff0c;data存储在datanode中&＃xff0c;默认会复制三份。作用&＃xff1a;管理存储、为用户提供读写request&＃xff0c;数据块的增删改
• 单个namenode

Hadoop2的HDFS

HDFS Federation
存在多个namenode&＃xff0c;可以增加命名空间的可扩展性以及performance&＃xff0c;同时可以隔离应用&＃xff0c;这样在使用应用的时候就不会影响整个文件系统。

• 多个namemode server
• 多个命名空间&＃xff08;你真的知道什么是 “命名空间” 吗&＃xff1f; - 知乎 (zhihu.com)&＃xff09;
• 数据存在数据块池中&＃xff08;block pool&＃xff09;
• 高可用性&＃xff08;冗余namenode&＃xff09;
• 异构存储和归档存储&＃xff08;heterogeneous storage and archival storage&＃xff09;
  

MR框架

mapreduce原理_mapreduce执行原理详解&＃xff0c;各个阶段做了什么&＃xff1f;_weixin_39583029的博客-CSDN博客
深入浅出讲解 MapReduce_哔哩哔哩_bilibili
MapReduce shuffle过程详解

• 软件框架——为了编写并行数据处理应用
  

优点&＃xff1a;

• MR计算和HDFS存储节点是same&＃xff0c;直接在datanode上进行计算&＃xff0c;不用移动data

最初的MR框架

• 单个 jobtracker
• 每个job一个tasktracker
  

下一代&＃xff1a;YARN

• 将资源管理和job计划&监控分离
• Global ResourceManager
• 每个节点都有NodeManager
• 每个应用都有ApplicationMaster
  

YARN的其他特征

• 高可用的RM&＃xff1a;备用RM
• TimeLine Server
• Cgroups&＃xff1a;管理容器使用的资源
• Secure Container