Hadoop详解与HDFS读写流程

Hadoop

hadoop&＃xff1a;包含分布式文件系统和分布式计算的一个框架。 HDFS&＃xff0c;mapreduce

hadoop项目模块包括4部分&＃xff1a;

Hadoop Common --工具类

Hadoop Distributed System(HDFS) --分布式文件系统

Hadoop YARN --分布式资源管理

Hadoop MapReduce --分布式计算框架

Hadoop-HDFS

存储模型&＃xff1a;字节

文件线性切割成块Block 偏移量offset:块的第一个字节面向原文件的下标&＃xff0c;eg&＃xff1a;第一个块的偏移量是0

架构模型&＃xff1a;主从

文件数据分为 元数据MetaData 和 文件数据

&＃xff08;主&＃xff09;NameNode字节保存文件元数据&＃xff1a;单节点 posix

​ 生成目录树&＃xff0c;不同于ls

&＃xff08;从&＃xff09;DataNode字节保存文件Block数据&＃xff1a;多节点

​ 客户端HdfsClient先找主再找从

NN

数据元数据

基于内存存储 快 不会和磁盘发生交换&＃xff0c;但要持久化

​ NameNode的metadate信息在启动后会加载到内存

​ metadata存储到磁盘文件名为“fsimage”

​ edits记录对metadata的操作日志。。。redis

持久化的2种方式&＃xff1a;快照 fsimage–需要大量IO 写日志文件 edits log-只记录用户操作

​ 注意&＃xff1a;都不保存位置信息&＃xff0c;以免客户端找到主&＃xff0c;从没有启动&＃xff0c;进而没有文件陷入等待

NameNode主要功能&＃xff1a;

​ 接受客户端的读写服务

​ 收集DataNode汇报的Block列表信息

​ –NameNode保存metadata信息包括

​ •文件owership和permissions •文件大小&＃xff0c;时间

Block块 不可调整大小&＃xff0c;不支持修改文件

​ block列表&＃xff1a;block偏移量(稳定值) 不含位置信息

DN

本地磁盘目录存储数据&＃xff08;Block&＃xff09;,文件形式

DN还有个Block块&＃xff08;md5&＃xff09;存储元数据信息&＃xff0c;用户取出数据时外界算法对比md5以此鉴别数据完整性

Block每副本位置由DataNode上报 副本 同等级 含义类克隆

副本放置策略/机架策略&＃xff1a;

​ 第一个副本和第二个副本不在同一个机架上&＃xff0c;第三个副本放置在和第二个副本相同机架节点

NN&DN

启动DN时会向NN汇报block信息

DN向NN发送心跳保持与其联系3s/次 10min lost 此时需要copy其上的block到其他DN

安全模式

SNN

不是NN的备份&＃xff08;但可以做备份&＃xff09;&＃xff0c;它的主要工作是帮助NN合并edits log&＃xff0c;减少NN启动时间。

SNN执行合并时机

​ •根据配置文件设置的时间间隔fs.checkpoint.period 默认3600秒

​ •根据配置文件设置edits log大小 fs.checkpoint.size 规定edits文件的最大值默认是64MB

HDFS优点

–高容错性

​ •数据自动保存多个副本 • 副本丢失后&＃xff0c;自动恢复

–适合批处理

​ •移动计算而非数据 •数据位置暴露给计算框架&＃xff08;Block偏移量&＃xff09;

–适合大数据处理

​ •GB 、TB 、甚至PB 级数据 •百万规模以上的文件数 •10K&＃43; 节点

–可构建在廉价机器上

​ •通过多副本提高可靠性 •提供了容错和恢复 机制

HDFS缺点

–低延迟数据访问

​ •比如毫秒级 •低延迟与高吞吐率

–小文件存取

​ •占用NameNode 大量内存 •寻道时间超过读取时间

–并发写入、文件随机修改

​ •一个文件只能有一个写者 •仅支持append

写流程

注意&＃xff1a;

​ 将大文件分成小包并&＃xff08;管道/同时&＃xff09;分给每个DN上的块

​ 由心跳汇报情况给NN&＃xff0c;若DN坏1,2个则NN自动发布命令采用新的DN写入

读流程

注意&＃xff1a;

​ 距离优先&＃xff08;离客户端近的先读取&＃xff0c;在本地的读本地&＃xff09;NN会返回给客户端距离列表&＃xff0c;近的先读&＃xff0c;读完客户端进行存储&＃xff0c;再读下一个DN

​ 读取时可以读取任意块的能力&＃xff0c;可以在某块上进行计算数据&＃xff0c;因此HDFS很好的支撑了计算层的本地化读取

使用Shell命令执行Hadoop自带的WordCount

首先切换到/data目录下&＃xff0c;使用vim编辑一个data.txt文件&＃xff0c;内容为&＃xff08;hello world hello hadoop hello ipieuvre&＃xff09;

cd /data
vim data.txt
在HDFS的根下创建in目录&＃xff0c;并将/data下的data.txt文件上传到HDFS中的in目录

hadoop fs -put /data/data.txt /in
执行hadoop jar命令&＃xff0c;在hadoop的/apps/hadoop/share/hadoop/mapreduce路径下存在hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar包&＃xff0c;我们执行其中的worldcount类&＃xff0c;数据来源为HDFS的/in目录&＃xff0c;数据输出到HDFS的/out目录

hadoop jar /apps/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar wordcount /in /out
查看HDFS中的/out目录

hadoop fs -ls /out
hadoop fs -cat /out/*