作为Hadoop的分布式文件系统的HDFS&＃xff0c;是Hadoop框架学习当中的重点内容&＃xff0c;HDFS的设计初衷&＃xff0c;是致力于存储超大文件&＃xff0c;能够通过构建在普通PC设备上的集群环境&＃xff0c;以较低成本完成大规模数据存储任务。今天的大数据入门分享&＃xff0c;我们就主要来讲讲HDFS数据读写机制。

HDFS在数据存储上&＃xff0c;具备高可靠性&＃xff0c;提供容错机制&＃xff0c;为整个Hadoop框架的数据处理提供了更稳固的底层支持。这其中&＃xff0c;HDFS数据读写机制是发挥着重要的作用的。

HDFS相关的基本概念

块(block)

这是HDFS的基本思想&＃xff0c;把大的文件分成块&＃xff0c;每块64M。

备份(replicas)

热备份&＃xff1a;b是a的热备份&＃xff0c;如果a坏掉。那么b马上运行代替a的工作。

冷备份&＃xff1a;b是a的冷备份&＃xff0c;如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息&＃xff0c;减少a坏掉之后的损失。

机架 (rack)

由几个DataNode组成的部件称为机架。

MetaData

描述我们要存储数据的数据结构。

HDFS namespace

这个命名空间指的是文件的目录结构&＃xff0c;与我们单个电脑的文件的结构树相似。

EditLog

记录文件系统的metadata变化的事务日志&＃xff0c;是HDFS的核心数据结构。 例如&＃xff0c;写入一个文件或修改复制因子都会向EditLog中写入一条record。

FsImage

整个文件系统的命名空间&＃xff0c;包括block到文件的映射&＃xff0c;文件系统的属性(大小&＃xff0c;被分为几个block&＃xff0c;只读&＃xff0c;权限等信息)&＃xff0c;都被存储在一个文件中&＃xff0c;这个文件就是FsImage。

HDFS namespace&＃xff0c;EditLog&＃xff0c;FsImage都存储在NameNode上。

HeartBeat

NameNode和DataNode通过HeartBeat进行通信&＃xff0c;每隔一定时间&＃xff0c;DataNode就会向NameNode发送心跳信号&＃xff0c;以此报告给NameNode&＃xff0c;说我还活着&＃xff0c;这样NameNode 在接到读写任务时&＃xff0c;会发命令给它。

HDFS如何分解文件

HDFS默认会将文件分割成 block&＃xff0c;64M为1个block&＃xff0c;然后将block按键值对存储在HDFS上&＃xff0c;并将键值对的映射存到内存中。每个文件默认会保存3份。

HDFS的基本架构&＃xff0c;按照Master和Slave的结构&＃xff0c;主要的组件包括&＃xff1a;NameNode、SecondaryNameNode、DataNode。

NameNode&＃xff1a;是Master节点&＃xff0c;处理客户端的读、写请求&＃xff1b;管理数据块映射&＃xff1b;管理HDFS的名称空间&＃xff1b;配置副本策略&＃xff1b;

SecondaryNameNode&＃xff1a;合并fsimage和fsedits&＃xff0c;然后再发给namenode&＃xff0c;尽量不要与NameNode部署在同一个host上&＃xff0c;这样避免内存的过多消耗&＃xff1b;NameNode的冷备份&＃xff1b;

DataNode&＃xff1a;Slave节点&＃xff0c;干活的。负责存储client发来的数据块block&＃xff0c;执行数据块的读写操作。

HDFS读写机制

1、数据写入

客户端访问NameNode请求上传文件&＃xff1b;

NameNode检查目标文件和目录是否已经存在&＃xff1b;

NameNode响应客户端是否可以上传&＃xff1b;

客户端请求NameNode文件块Block01上传服务位置&＃xff1b;

NameNode响应返回3个DataNode节点&＃xff1b;

客户端通过输入流建立DataNode01传输通道&＃xff1b;

DataNode01调用DataNode02&＃xff0c;DataNode02调用DataNode03&＃xff0c;通信管道建立完成&＃xff1b;

DataNode01、DataNode02、DataNode03逐级应答客户端。

客户端向DataNode01上传第一个文件块Block&＃xff1b;

DataNode01接收后传给DataNode02&＃xff0c;DataNode02传给DataNode03;

Block01传输完成之后&＃xff0c;客户端再次请求NameNode上传第二个文件块。

2、数据读取

客户端通过向NameNode请求下载文件&＃xff1b;

NameNode查询获取文件元数据并返回&＃xff1b;

客户端通过元数据信息获取文件DataNode地址&＃xff1b;

就近原则选择一台DataNode服务器&＃xff0c;请求读取数据&＃xff1b;

DataNode传输数据返回给客户端&＃xff1b;

客户端以本地处理目标文件。

关于大数据入门&＃xff0c;HDFS数据读写机制&＃xff0c;以上就为大家做了简单的介绍了。在Hadoop框架当中&＃xff0c;HDFS作为分布式文件系统&＃xff0c;地位十分关键&＃xff0c;而想要把HDFS学好学懂&＃xff0c;还是需要多下功夫的。