Hadoop专栏（一）———分布式文件系统HDFS

分布式文件系统HDFS简介

两大核心技术&＃xff1a;
分布式存储
分布式处理

文件系统结构

HDFS自身的局限性
1&＃xff1a;不适合低延迟数据访问
2.无法高效存储大量小文件
3.不支持多用户写入及任意修改文件

HDFS实现目标

HDFS相关概念

HDFS采用这种抽象的块的概念设计好处

元数据

为什么要这样设计

名称节点

FsImage

HDFS存储原理

由于采用的是低廉成本机器进行存储&＃xff0c;所以会不断的出故障。
基于这种情况&＃xff0c;就必须要冗余数据&＃xff0c;保存

冗余存储这种设计的好处&＃xff1a;
01.加快数据传输速度
02.很容易检查数据错误
03保存数据可靠性
块拿到手后如何进行分布式存储&＃xff1a;
第一副本&＃xff1a;优先放在磁盘不太满&＃xff0c;CPU不太忙的节点
第二副本&＃xff1a;放在和第一个副本不同的节点
第三副本&＃xff1a;放在第一副本相同的节点的机架上

数据读取
HDFS提供一个API可以确定一个数据节点所属的机架ID&＃xff0c;客户端也可以调用API获取自己所属的机架ID
当客户端读取数据时&＃xff0c;从名称节点获取数据块不同副本的存储位置列表&＃xff0c;列表中包含了副本所在的数据节点&＃xff0c;可以调用API来确定客户端和这些数据节点所属的机架ID&＃xff0c;当发现某个数据块副本对应的机架ID和客户端对应的机架ID相对应的优先选择该副本读取数据&＃xff0c;如果没有发现&＃xff0c;就随机选择一个副本读取数据。
数据的错误和恢复
1.名称节点出错
FsImage
EditLog

2.数据节点出错
&＃xff08;1&＃xff09;如何判断出错
数据节点会定期向名称节点发送信息

3.数据出现错误
&＃xff08;1&＃xff09;如何判断出错
校验码校验&＃xff0c;客户端每写一个文件&＃xff0c;就会为这个文件写一个校验码&＃xff0c;保存在同一个文件下
校验不一致&＃xff0c;则说明数据错误和恢复&＃xff0c;进行冗余的复制

HDFS读取过程

pubic static void main(String[] args){try{Configuration conf&＃61;new Configuration();FileSystem fs&＃61;FileSystem.get(conf);Path filename&＃61;new Path("hdfs://localhost:9000/user/hadoop/test.txt");FSDataInputStream is&＃61;fs.open(filename);BufferdReader d &＃61;new BufferedReader(new InputStreamReader(is));String context&＃61;d.readLine();//读取文件一行System.out.println(content);d.close();//关闭文件fs.clpse();//关闭hdfs}catch(Exception e){e.printStackTrace();}
}


FileSystem

第一步&＃xff1a;打开文件

FileSystem fs&＃61;FileSystem.get(conf);


第二步&＃xff1a;获取数据块信息

FileSystem fs&＃61;FileSystem.get(conf);


第三步&＃xff1a;读取信息

Path filename&＃61;new Path("hdfs://localhost:9000/user/hadoop/test.txt");


第四步&＃xff1a;读取数据

FSDataInputStream is&＃61;fs.open(filename);


第五步&＃xff1a;获取数据块信息
通过ClientProtocal.getBlockLocations()查找下一个数据块

BufferdReader d &＃61;new BufferedReader(new InputStreamReader(is));


第六步&＃xff1a;读取数据

String context&＃61;d.readLine();//读取文件一行


第七步&＃xff1a;关闭文件

d.close();//关闭文件
fs.clpse();//关闭hdfs


HDFS写数据过程

第一步&＃xff1a;创建文件请求
第二步&＃xff1a;创建文件元数据
第三步&＃xff1a;写入数据
第四步&＃xff1a;写入数据包
第五步&＃xff1a;接受确认包
第六步&＃xff1a;关闭文件
第七步&＃xff1a;写操作完成

HDFS编程实践

HDFS的基本编程方法

Hadoop中常用的三种命令

hadoop fs的三个常用指令

注意本地文件与分布式文件是不同的

除了使用命令来控制&＃xff0c;还可以使用网页来管理文件

利用JavaApi和HDFS交互

编写代码