首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

hadoop笔记二：HDFS

作者：红殿_真红王道哥哥 | 来源：互联网 | 2023-09-06 03:36
2019独角兽企业重金招聘Python工程师标准一、HDFS体系结构1.hdfs体系结构大文件会被分割成多个block进行存储，block大小默认为64MB。每

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

一、HDFS体系结构

1.hdfs体系结构

大文件会被分割成多个block进行存储&＃xff0c;block大小默认为64MB。每一个block会在多个datanode上存储多份副本&＃xff0c;默认是3份。

HDFS是按照Master和Slave的结构进行设计的。分为NameNode、SecondaryNameNode、DataNode这几个角色。

namenode&＃xff1a;

namenode是Master节点&＃xff0c;负责管理文件目录、文件和block的对应关系以及block和datanode的对应关系还有datanode的副本信息&＃xff0c;协调客户端对文件的访问&＃xff0c;记录命名空间内的改动或本身属性的改变&＃xff1b;使用事务日志记录HDFS元数据的变化&＃xff0c;使用映像文件存储文件系统的命名空间&＃xff0c;包括文件映射文件属性。

SecondaryNameNode&＃xff1a;

是NameNode的冷备份&＃xff0c;负责定时默认1小时&＃xff0c;从namenode上&＃xff0c;获取fsimage和edits来进行合并&＃xff0c;然后再发送给namenode。减少namenode的工作量。

DataNode&＃xff1a;

datanode是Slave节点负责存储client发来的数据块block&＃xff0c;当然大部分容错机制都是在datanode上实现的&＃xff0c;一次写入多次读取不修改。

011630_zdqq_3100849.png

2.hdfs读写流程

1.从hdfs读取数据

读取流程&＃xff1a;

客户端要访问HDFS中的一个文件&＃xff0c;首先从namenode获取组成这个文件的数据块位置列表&＃xff0c;根据列表知道数据块的datanode&＃xff0c;访问datanode获取数据。&＃xff08;namenode不参与实际数据传输&＃xff09;

155951_CIcS_3100849.png

1&＃xff09;客户端通过调用FileSystem对象的open()来读取希望打开的文件。对于HDFS来说&＃xff0c;这个对象是分布式文件系统的一个实例。

2&＃xff09;DistributedFileSystem通过RPC来调用namenode&＃xff0c;以确定文件的开头部分的块位置。对于每一块&＃xff0c;namenode返回具有该块副本的datanode地址。此外&＃xff0c;这些datanode根据他们与client的距离来排序&＃xff08;根据网络集群的拓扑&＃xff09;。如果该client本身就是一个datanode&＃xff0c;便从本地datanode中读取。DistributedFileSystem返回一个FSDataInputStream对象给client读取数据&＃xff0c;FSDataInputStream转而包装了一个DFSInputStream对象。

3&＃xff09;接着client对这个输入流调用read()。存储着文件开头部分的块的数据节点的地址DFSInputStream随即与这些块最近的datanode相连接。

4&＃xff09;通过在数据流中反复调用read()&＃xff0c;数据会从datanode返回client。

5&＃xff09;到达块的末端时&＃xff0c;DFSInputStream会关闭与datanode间的联系&＃xff0c;然后为下一个块找到最佳的datanode。client端只需要读取一个连续的流&＃xff0c;这些对于client来说都是透明的。

6&＃xff09;在读取的时候&＃xff0c;如果client与datanode通信时遇到一个错误&＃xff0c;那么它就会去尝试对这个块来说下一个最近的块。它也会记住那个故障节点的datanode&＃xff0c;以保证不会再对之后的块进行徒劳无益的尝试。client也会确认datanode发来的数据的校验和。如果发现一个损坏的块&＃xff0c;它就会在client试图从别的datanode中读取一个块的副本之前报告给namenode。

7&＃xff09;这个设计的一个重点是&＃xff0c;client直接联系datanode去检索数据&＃xff0c;并被namenode指引到块中最好的datanode。因为数据流在此集群中是在所有datanode分散进行的。

所以这种设计能使HDFS可扩展到最大的并发client数量。同时&＃xff0c;namenode只不过提供块的位置请求&＃xff08;存储在内存中&＃xff0c;十分高效&＃xff09;&＃xff0c;不是提供数据。否则如果客户端数量增长&＃xff0c;namenode就会快速成为一个“瓶颈”。

2.向hdfs写数据

客户端请求namenode创建新文件&＃xff0c;客户端将数据写入DFSOutputStream&＃xff0c;建立pipeline依次将目标数据块写入各个datanode&＃xff0c;建立多个副本。

160204_cXsD_3100849.png

1&＃xff09;客户端通过在DistributedFileSystem中调用create()来创建文件。

2&＃xff09;DistributedFileSystem 使用RPC去调用namenode&＃xff0c;在文件系统的命名空间创一个新的文件&＃xff0c;没有块与之相联系。namenode执行各种不同的检查&＃xff08;这个文件存不存在&＃xff0c;有没有权限去写&＃xff0c;能不能存的下这个文件&＃xff09;以确保这个文件不会已经存在&＃xff0c;并且在client有可以创建文件的适当的许可。如果检查通过&＃xff0c;namenode就会生成一个新的文件记录&＃xff1b;否则&＃xff0c;文件创建失败并向client抛出一个IOException异常。分布式文件系统返回一个文件系统数据输出流&＃xff0c;让client开始写入数据。就像读取事件一样&＃xff0c;文件系统数据输出流控制一个DFSOutputStream&＃xff0c;负责处理datanode和namenode之间的通信。

3&＃xff09;在client写入数据时&＃xff0c;DFSOutputStream将它分成一个个的包&＃xff0c;写入内部的队列&＃xff0c;成为数据队列。数据队列随数据流流动&＃xff0c;数据流的责任是根据适合的datanode的列表要求这些节点为副本分配新的块。这个数据节点的列表形成一个管线——假设副本数是3&＃xff0c;所以有3个节点在管线中。

4&＃xff09;数据流将包分流给管线中第一个的datanode&＃xff0c;这个节点会存储包并且发送给管线中的第二个datanode。同样地&＃xff0c;第二个datanode存储包并且传给管线中的第三个数据节点。

5&＃xff09;DFSOutputStream也有一个内部的包队列来等待datanode收到确认&＃xff0c;成为确认队列。一个包只有在被管线中所有的节点确认后才会被移除出确认队列。如果在有数据写入期间&＃xff0c;datanode发生故障&＃xff0c;首先管线被关闭&＃xff0c;确认队列中的任何包都会被添加回数据队列的前面&＃xff0c;以确保故障节点下游的datanode不会漏掉任意一个包。为存储在另一正常datanode的当前数据块制定一个新的标识&＃xff0c;并将该标识传给namenode&＃xff0c;以便故障节点datanode在恢复后可以删除存储的部分数据块。从管线中删除故障数据节点并且把余下的数据块写入管线中的两个正常的datanode。namenode注意到块复本量不足时&＃xff0c;会在另一个节点上创建一个新的复本。后续的数据块继续正常接收处理。只要dfs.replication.min的副本&＃xff08;默认是1&＃xff09;被写入&＃xff0c;写操作就是成功的&＃xff0c;并且这个块会在集群中被异步复制&＃xff0c;直到其满足目标副本数&＃xff08;dfs.replication 默认值为3&＃xff09;。

6&＃xff09;client完成数据的写入后&＃xff0c;就会在流中调用close()。

7&＃xff09;在向namenode节点发送完消息之前&＃xff0c;此方法会将余下的所有包放入datanode管线并等待确认。namenode节点已经知道文件由哪些块组成&＃xff08;通过Data streamer 询问块分配&＃xff09;&＃xff0c;所以它只需在返回成功前等待块进行最小量的复制。

8&＃xff09;复本的布局&＃xff1a;Hadoop的默认布局策略是在运行客户端的节点上放第1个复本&＃xff08;如果客户端运行在集群之外&＃xff0c;就随机选择一个节点&＃xff0c;不过系统会避免挑选那些存储太满或太忙的节点。&＃xff09;第2个复本放在与第1个复本不同且随机另外选择的机架的节点上&＃xff08;离架&＃xff09;。第3个复本与第2个复本放在相同的机架&＃xff0c;且随机选择另一个节点。其他复本放在集群中随机的节点上&＃xff0c;不过系统会尽量避免相同的机架放太多复本。

3.通过实例说明HDFS读写过程

1.写入操作

215349_VBML_3100849.png

前提&＃xff1a;

有一个文件FileA&＃xff0c;100M大小。Client将FileA写入到HDFS上。

HDFS按默认配置

HDFS分布在三个机架上Rack1&＃xff0c;Rack2&＃xff0c;Rack3。

步骤&＃xff1a;

1&＃xff09; Client将FileA按64M分块。分成两块&＃xff0c;block1和Block2;

2&＃xff09; Client向nameNode发送写数据请求&＃xff0c;如图蓝色虚线①------>。

3&＃xff09; NameNode节点&＃xff0c;记录block信息。并返回可用的DataNode&＃xff0c;如粉色虚线②--------->

    Block1: host2,host1,host3

    Block2: host7,host8,host4

原理&＃xff1a;

NameNode具有RackAware机架感知功能&＃xff0c;这个可以配置。

若client为DataNode节点&＃xff0c;那存储block时&＃xff0c;规则为&＃xff1a;副本1&＃xff0c;同client的节点上&＃xff1b;副本2&＃xff0c;不同机架节点上&＃xff1b;副本3&＃xff0c;同第二个副本机架的另一个节点上&＃xff1b;其他副本随机挑选。

若client不为DataNode节点&＃xff0c;那存储block时&＃xff0c;规则为&＃xff1a;副本1&＃xff0c;随机选择一个节点上&＃xff1b;副本2&＃xff0c;不同副本1&＃xff0c;机架上&＃xff1b;副本3&＃xff0c;同副本2相同的另一个节点上&＃xff1b;其他副本随机挑选。

4&＃xff09;client向DataNode发送block1&＃xff1b;发送过程是以流式写入。

第一步&＃xff1a;将64M的block1按64k的package划分;

第二步&＃xff1a;然后将第一个package发送给host2;

第三步&＃xff1a;host2接收完后&＃xff0c;将第一个package发送给host1&＃xff0c;同时client想host2发送第二个package&＃xff1b;

第四步&＃xff1a;host1接收完第一个package后&＃xff0c;发送给host3&＃xff0c;同时接收host2发来的第二个package。

第五步&＃xff1a;以此类推&＃xff0c;如图红线实线所示&＃xff0c;直到将block1发送完毕。

第六步&＃xff1a;host2,host1,host3向NameNode&＃xff0c;host2向Client发送通知&＃xff0c;说“消息发送完了”。如图粉红颜色实线所示。

第七步&＃xff1a;client收到最后一个host2发来的消息后&＃xff0c;向namenode发送消息&＃xff0c;说我写完了。这样就真完成了。如图黄色粗实线

第八步&＃xff1a;发送完block1后&＃xff0c;再向host7&＃xff0c;host8&＃xff0c;host4发送block2&＃xff0c;如图蓝色实线所示。

第九步&＃xff1a;发送完block2后&＃xff0c;host7,host8,host4向NameNode&＃xff0c;host7向Client发送通知&＃xff0c;如图浅绿色实线所示。

第十步&＃xff1a;client向NameNode发送消息&＃xff0c;说我写完了&＃xff0c;如图黄色粗实线。。。这样就完毕了。

通过写过程&＃xff0c;我们可以了解到&＃xff1a;
1&＃xff09;写1T文件&＃xff0c;我们需要3T的存储&＃xff0c;3T的网络流量贷款。
2&＃xff09;在执行读或写的过程中&＃xff0c;NameNode和DataNode通过HeartBeat进行保存通信&＃xff0c;确定DataNode活着。如果发现DataNode死掉了&＃xff0c;就将死掉的DataNode上的数据&＃xff0c;放到其他节点去。读取时&＃xff0c;要读其他节点。
3&＃xff09;挂掉一个节点&＃xff0c;没关系&＃xff0c;还有其他节点可以备份&＃xff1b;甚至&＃xff0c;挂掉某一个机架&＃xff0c;也没关系&＃xff1b;其他机架上&＃xff0c;也有备份。

2.读取操作

220237_mon9_3100849.png

前提&＃xff1a;

client要从datanode上&＃xff0c;读取FileA。而FileA由block1和block2组成。

2&＃xff09;namenode查看Metadata信息&＃xff0c;返回fileA的block的位置。
　block1:host2,host1,host3
　block2:host7,host8,host4

3&＃xff09;block的位置是有先后顺序的&＃xff0c;先读block1&＃xff0c;再读block2。而且block1去host2上读取&＃xff1b;然后block2&＃xff0c;去host7上读取&＃xff1b;

4.HDFS文件操作

1.Linux 命令操作

列出HDFS下所有文件夹&＃xff1a;

./bin/hadoop fs -ls

163140_yx4r_3100849.png

列出HDFS下input目录下文件&＃xff1a;

./bin/hadoop fs -ls input

163323_CmSx_3100849.png

上传文件到指定目录&＃xff1a;这里上传/home/data/words文件 到input目录。

./bin/hadoop fs -put /home/data/words input

查看上传结果

163613_CoE1_3100849.png

从HDFS中复制文件到本地文件夹&＃xff1a;复制HDFS中input/words文件到 hadoop目录下tmp文件夹

./bin/hadoop fs -get input/words tmp/

删除HDFS中文件&＃xff1a;将HDFS中文件input/README.txt删除

./bin/hadoop fs -rmr input/README.txt

查看HDFS基本统计信息&＃xff1a;

[root&＃64;hadoop hadoop-2.7.1]# ./bin/hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.Configured Capacity: 18779398144 (17.49 GB)
Present Capacity: 9945313280 (9.26 GB)
DFS Remaining: 9944788992 (9.26 GB)
DFS Used: 524288 (512 KB)
DFS Used%: 0.01%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0-------------------------------------------------
Live datanodes (1):Name: 192.168.1.113:50010 (hadoop)
Hostname: hadoop
Decommission Status : Normal
Configured Capacity: 18779398144 (17.49 GB)
DFS Used: 524288 (512 KB)
Non DFS Used: 8834084864 (8.23 GB)
DFS Remaining: 9944788992 (9.26 GB)
DFS Used%: 0.00%
DFS Remaining%: 52.96%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sun Jan 21 00:48:13 PST 2018

 


转:https://my.oschina.net/u/3100849/blog/1608135



推荐阅读
  • io

    利用ZFS和Gluster实现分布式存储系统的高效迁移与应用

    利用ZFS和Gluster实现分布式存储系统的高效迁移与应用
    本文探讨了在Ubuntu 18.04系统中利用ZFS和Gluster文件系统实现分布式存储系统的高效迁移与应用。通过详细的技术分析和实践案例，展示了这两种文件系统在数据迁移、高可用性和性能优化方面的优势，为分布式存储系统的部署和管理提供了宝贵的参考。 ... [详细]
  • io

    第二章：Kafka基础入门与核心概念解析

    第二章：Kafka基础入门与核心概念解析
    本章节主要介绍了Kafka的基本概念及其核心特性。Kafka是一种分布式消息发布和订阅系统，以其卓越的性能和高吞吐量而著称。最初，Kafka被设计用于LinkedIn的活动流和运营数据处理，旨在高效地管理和传输大规模的数据流。这些数据主要包括用户活动记录、系统日志和其他实时信息。通过深入解析Kafka的设计原理和应用场景，读者将能够更好地理解其在现代大数据架构中的重要地位。 ... [详细]
  • io

    Bootstrap 学习指南：全面掌握前端框架的核心知识点与实战技巧

    ### 优化后的摘要本学习指南旨在帮助读者全面掌握 Bootstrap 前端框架的核心知识点与实战技巧。内容涵盖基础入门、核心功能和高级应用。第一章通过一个简单的“Hello World”示例，介绍 Bootstrap 的基本用法和快速上手方法。第二章深入探讨 Bootstrap 与 JSP 集成的细节，揭示两者结合的优势和应用场景。第三章则进一步讲解 Bootstrap 的高级特性，如响应式设计和组件定制，为开发者提供全方位的技术支持。 ... [详细]
  • io

    深入解析NoSQL数据库：键值对、文档、列式存储与图数据库的应用与特点

    本文深入探讨了NoSQL数据库的四大主要类型：键值对存储、文档存储、列式存储和图数据库。NoSQL（Not Only SQL）是指一系列非关系型数据库系统，它们不依赖于固定模式的数据存储方式，能够灵活处理大规模、高并发的数据需求。键值对存储适用于简单的数据结构；文档存储支持复杂的数据对象；列式存储优化了大数据量的读写性能；而图数据库则擅长处理复杂的关系网络。每种类型的NoSQL数据库都有其独特的优势和应用场景，本文将详细分析它们的特点及应用实例。 ... [详细]
  • io

    深入解析Linux命令及其详细用法

    本文深入解析了Linux系统中常用的文件和目录操作命令，包括但不限于`ls`、`cd`等。通过详细讲解每个命令的功能、语法及应用场景，帮助读者掌握这些基本工具的使用方法，提升在Linux环境下的操作效率。此外，文章还介绍了如何结合选项和参数来实现更复杂的文件管理任务，为初学者提供了丰富的实践示例和技巧。 ... [详细]
  • io

    CTF竞赛中文件上传技巧与安全绕过方法深入解析

    CTF竞赛中文件上传技巧与安全绕过方法深入解析
    CTF竞赛中文件上传技巧与安全绕过方法深入解析 ... [详细]
  • io

    Spring框架的核心组件与架构解析

    Spring框架的核心组件与架构解析 ... [详细]
  • web

    番外篇1：深入解析分布式服务器的工作原理与应用

    （1）前期知识：1. 单机架构：单一服务器计算机——其处理能力和存储容量有限。2. 集群架构（负载均衡器与多节点服务器）——通过增加节点数量来提升系统性能和可靠性，实现高效的任务分配和资源利用。 ... [详细]
  • io

    揭秘腾讯云CynosDB计算层设计优化背后的不为人知的故事与技术细节

    揭秘腾讯云CynosDB计算层设计优化背后的不为人知的故事与技术细节
    揭秘腾讯云CynosDB计算层设计优化背后的不为人知的故事与技术细节 ... [详细]
  • shell

    构建高可用性Spark分布式集群：大数据环境下的最佳实践

    构建高可用性Spark分布式集群：大数据环境下的最佳实践
    在构建高可用性的Spark分布式集群过程中，确保所有节点之间的无密码登录是至关重要的一步。通过在每个节点上生成SSH密钥对（使用 `ssh-keygen -t rsa` 命令并保持默认设置），可以实现这一目标。此外，还需将生成的公钥分发到所有节点的 `~/.ssh/authorized_keys` 文件中，以确保节点间的无缝通信。为了进一步提升集群的稳定性和性能，建议采用负载均衡和故障恢复机制，并定期进行系统监控和维护。 ... [详细]
  • io

    修复一个 Bug 竟耗时两天？真的有那么复杂吗？

    修复一个 Bug 竟耗时两天？真的有那么复杂吗？
    修复一个 Bug 竟然耗费了两天时间？这背后究竟隐藏着怎样的复杂性？本文将深入探讨这个看似简单的 Bug 为何会如此棘手，从代码层面剖析问题根源，并分享解决过程中遇到的技术挑战和心得。 ... [详细]
  • io

    内网渗透技术详解：PTH、PTT与PTK在域控环境中的应用及猫盘内网穿透配置

    内网渗透技术详解：PTH、PTT与PTK在域控环境中的应用及猫盘内网穿透配置
    本文深入探讨了内网渗透技术，特别是PTH、PTT与PTK在域控环境中的应用，并详细介绍了猫盘内网穿透的配置方法。通过这些技术，安全研究人员可以更有效地进行内网渗透测试，解决常见的渗透测试难题。此外，文章还提供了实用的配置示例和操作步骤，帮助读者更好地理解和应用这些技术。 ... [详细]
  • io

    如何在Linux中通过编程手段禁用硬件预取功能？

    本文探讨了如何通过编程手段在Linux系统中禁用硬件预取功能。基于Intel® Core™微架构的应用性能优化需求，文章详细介绍了相关配置方法和代码实现，旨在帮助开发人员有效控制硬件预取行为，提升应用程序的运行效率。 ... [详细]
  • io

    Ave V8 JavaScript 引擎：持续优化与创新

    V8不仅是一款著名的八缸发动机，广泛应用于道奇Charger、宾利Continental GT和BossHoss摩托车中。自2008年以来，作为Chromium项目的一部分，V8 JavaScript引擎在性能优化和技术创新方面取得了显著进展。该引擎通过先进的编译技术和高效的垃圾回收机制，显著提升了JavaScript的执行效率，为现代Web应用提供了强大的支持。持续的优化和创新使得V8在处理复杂计算和大规模数据时表现更加出色，成为众多开发者和企业的首选。 ... [详细]
  • web

    2016-2017学年《网络安全实战》第三次作业

    2016-2017学年《网络安全实战》第三次作业
    2016-2017学年《网络安全实战》第三次作业总结了教材中关于网络信息收集技术的内容。本章主要探讨了网络踩点、网络扫描和网络查点三个关键步骤。其中，网络踩点旨在通过公开渠道收集目标信息，为后续的安全测试奠定基础，而不涉及实际的入侵行为。 ... [详细]
author-avatar
红殿_真红王道哥哥
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有