HDFS基础知识

1. HDFS介绍

• HDFS是Hadoop Distribute File System 的简称&＃xff0c;意为&＃xff1a;Hadoop分布式文件系统。是Hadoop核心组件之一&＃xff0c;作为最底层的分布式存储服务而存在。
• 分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。

2. HDFS设计目标

• 硬件故障是常态&＃xff0c; HDFS将有成百上千的服务器组成&＃xff0c;每一个组成部分都有可能出现故障。因此故障的检测和自动快速恢复是HDFS的核心架构目标。
• HDFS上的应用与一般的应用不同&＃xff0c;它们主要是以流式读取数据。HDFS被设计成适合批量处理&＃xff0c;而不是用户交互式的。相较于数据访问的反应时间&＃xff0c;更注重数据访问的高吞吐量。
• 典型的HDFS文件大小是GB到TB的级别。所以&＃xff0c;HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽&＃xff0c;一个集群中支持数百个节点&＃xff0c;一个集群中还应该支持千万级别的文件。
• 大部分HDFS应用对文件要求的是write-one-read-many访问模型。一个文件一旦创建、写入、关闭之后就不需要修改了。这一假设简化了数据一致性问题&＃xff0c;使高吞吐量的数据访问成为可能。
• 移动计算的代价比之移动数据的代价低。一个应用请求的计算&＃xff0c;离它操作的数据越近就越高效&＃xff0c;这在数据达到海量级别的时候更是如此。将计算移动到数据附近&＃xff0c;比之将数据移动到应用所在显然更好。
• 在异构的硬件和软件平台上的可移植性。这将推动需要大数据集的应用更广泛地采用HDFS作为平台。