当前位置: 开发笔记 > 编程语言 > 正文

Hadoop实战初级部分之HDFS

作者：簕竹仔_591 | 来源：互联网 | 2023-08-04 09:00

私塾在线《深入浅出学 Hadoop- 初级部分》 —— 系列精品教程视频课程地址》》》 http:sishuok.comproduct481整体课程概览第一部分：开

私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程

视频课程地址》》》 http://sishuok.com/product/481

整体课程概览

第一部分：开始云计算之旅

第二部分：初识Hadoop

第三部分：Hadoop 环境安装部署

第四部分：Hadoop Shell 基本操作介绍

第五部分：Hadoop 分布式文件系统1

第五部分：Hadoop 分布式文件系统2

第五部分：Hadoop 分布式文件系统3

第六部分：MapReduce 开发1

第六部分：MapReduce 开发2

第七部分：Hadoop集群的安装

第一部分：什么是HDFS

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。 HDFS是高容错性的，可以部署在低成本的硬件之上，HDFS提供高吞吐量地对应用程序数据访问，它适合大数据集的应用程序。

第二部分：HDFS架构设计

HDFS 设计目标

HDFS不适合做什么

存储小文件

大量随机读

需要对文件修改

第三部分：HDFS概念

NameNode	DataNode	SecondaryNameNode
存储元数据	存储文件内容	将NameNode的fsimage与edit log从NameNode 复制到临时目录
元数据保存在内存中与磁盘上	文件内容保存在磁盘	将fsimage同edit log合并并产生新的fsimage
保存文件，block dataNode之间的映射关系	维护block id 到datanode本地文件的映射关系	将产生的新的fsimage上传给NameNode 清除NameNode中的edit log

Block块

数据块 (block ) HDFS(Hadoop Distributed File System) 默认的最基本存储单位默认大小是 64M 。

第四部分：HDFS命令行接口

hadoop fs :

[-ls ]

[-lsr ]

[-du ]

[-dus ]

[-count[-q] ]

[-mv ]

[-cp ]

[-rm [-skipTrash] ]

[-rmr [-skipTrash] ]

[-put ... ]

[-copyFromLocal ... ]

[-moveFromLocal ... ]

[-getmerge [addnl]]

[-cat ]

[-text ]

[-copyToLocal [-ignoreCrc] [-crc] ]

[-moveToLocal [-crc] ]

[-mkdir ]

[-tail [-f] ]

[-chmod [-R] PATH...]

[-chown [-R] [OWNER][:[GROUP]] PATH...]

[-chgrp [-R] GROUP PATH...]

[-help [cmd]]

hadoop dfsadmin :

[-report]

报告文件系统的基本信息

[-safemode enter | leave | get | wait]

安全模式维护命令

[-saveNamespace]

保存当前的命名空间

[-refreshNodes]

重新读取 Hosts 和 eclude 文件，使新的节点或需要退出集群的节点能够重新被 NameNode 识别。

[-finalizeUpgrade]

终结 HDFS 的升级操作

[-upgradeProgress status | details | force]

[-metasave filename]

保存 Namenode 的主要数据结构到 Hadoop.log.dir 属性指定目录下的filename 上

[-setQuota ...]

为每个目录设定配额，强制限定目录树下的名字个数。

[-clrQuota ...]

为每个目录清除配额设定。

[-setBalancerBandwidth ]

设定负载均衡时使用的带宽

第五部分：Hadoop文件系统

目前 Hadoop 支持的文件系统：

文件系统	Java 实现	描述
KFS	fs.kfs.KosmosFileSystem	Cloudstore 是类似 HDFS的由 C++ 编写的文件系统
S3 （本地）	fs.s3native.NativeS3File System	由 Amazon S3 支持的文件系统
S3 （基于块）	fs.s3.S3FileSystem	由 AmazonS3 支持的文件系统，以块格式来存储文件
HAR	fs.HarFileSystem	一个构建在其他文件系统来存档的文件系统。

转载请注明出处【 http://sishuok.com/forum/blogPost/list/5458.html 】

推荐阅读

web
如何查询zone下的表的信息

本文介绍了如何通过TcaplusDB知识库查询zone下的表的信息。包括请求地址、GET请求参数说明、返回参数说明等内容。通过curl方法发起请求，并提供了请求示例。 ... [详细]

蜡笔小新 2023-12-12 08:26:32
format
Metasploit攻击渗透实践

本文介绍了Metasploit攻击渗透实践的内容和要求，包括主动攻击、针对浏览器和客户端的攻击，以及成功应用辅助模块的实践过程。其中涉及使用Hydra在不知道密码的情况下攻击metsploit2靶机获取密码，以及攻击浏览器中的tomcat服务的具体步骤。同时还讲解了爆破密码的方法和设置攻击目标主机的相关参数。 ... [详细]

蜡笔小新 2023-12-14 12:14:09
format
C#学习教程：在Console中工作但在Windows窗体中不工作的异步代码分享

本文分享了一个关于在C#中使用异步代码的问题，作者在控制台中运行时代码正常工作，但在Windows窗体中却无法正常工作。作者尝试搜索局域网上的主机，但在窗体中计数器没有减少。文章提供了相关的代码和解决思路。 ... [详细]

蜡笔小新 2023-12-14 15:56:00
config
Linux下Kafka单机安装配置方法（实操成功）

本文介绍了在Linux下安装和配置Kafka的方法，包括安装JDK、下载和解压Kafka、配置Kafka的参数，以及配置Kafka的日志目录、服务器IP和日志存放路径等。同时还提供了单机配置部署的方法和zookeeper地址和端口的配置。通过实操成功的案例，帮助读者快速完成Kafka的安装和配置。 ... [详细]

蜡笔小新 2023-12-12 18:14:32
php
MySQL语句大全：创建、授权、查询、修改等【MySQL】的使用方法详解

本文详细介绍了MySQL语句的使用方法，包括创建用户、授权、查询、修改等操作。通过连接MySQL数据库，可以使用命令创建用户，并指定该用户在哪个主机上可以登录。同时，还可以设置用户的登录密码。通过本文，您可以全面了解MySQL语句的使用方法。 ... [详细]

蜡笔小新 2023-12-11 15:34:14
php
Python工具安装教程及注意事项

本文介绍了在Windows系统下安装Python、setuptools、pip和virtualenv的步骤，以及安装过程中需要注意的事项。详细介绍了Python2.7.4和Python3.3.2的安装路径，以及如何使用easy_install安装setuptools。同时提醒用户在安装完setuptools后，需要继续安装pip，并注意不要将Python的目录添加到系统的环境变量中。最后，还介绍了通过下载ez_setup.py来安装setuptools的方法。 ... [详细]

蜡笔小新 2023-12-10 16:46:45
web
Python高级之网络编程及TCP/IP协议簇的OSI七层模型介绍

本文介绍了Python高级网络编程及TCP/IP协议簇的OSI七层模型。首先简单介绍了七层模型的各层及其封装解封装过程。然后讨论了程序开发中涉及到的网络通信内容，主要包括TCP协议、UDP协议和IPV4协议。最后还介绍了socket编程、聊天socket实现、远程执行命令、上传文件、socketserver及其源码分析等相关内容。 ... [详细]

蜡笔小新 2023-12-14 18:16:27
function
GetWindowLong函数

今天在看一个代码里头写了GetWindowLong(hwnd,0)，我当时就有点费解，靠，上网搜索函数原型说明，死活找不到第 ... [详细]

蜡笔小新 2023-12-14 17:58:15
header
Nginx使用（server参数配置）

本文介绍了Nginx的使用，重点讲解了server参数配置，包括端口号、主机名、根目录等内容。同时，还介绍了Nginx的反向代理功能。 ... [详细]

蜡笔小新 2023-12-14 17:08:34
web
搭建Windows Server 2012 R2 IIS8.5+PHP（FastCGI）+MySQL环境的详细步骤

本文详细介绍了搭建Windows Server 2012 R2 IIS8.5+PHP（FastCGI）+MySQL环境的步骤，包括环境说明、相关软件下载的地址以及所需的插件下载地址。 ... [详细]

蜡笔小新 2023-12-14 17:03:58
web
android listview OnItemClickListener失效原因

最近在做listview时发现OnItemClickListener失效的问题，经过查找发现是因为button的原因。不仅listitem中存在button会影响OnItemClickListener事件的失效，还会导致单击后listview每个item的背景改变，使得item中的所有有关焦点的事件都失效。本文给出了一个范例来说明这种情况，并提供了解决方法。 ... [详细]

蜡笔小新 2023-12-14 14:25:50
web
如何在CentOS 7.x上进行端口映射配置

本文介绍了在CentOS 7.x上进行端口映射配置的方法，通过修改内核和配置防火墙实现端口映射。作者分享了自己使用华为服务器进行端口映射的经验，发现网速比直连还快且稳定。详细的配置过程包括开启系统路由模式功能、设置IP地址伪装、设置端口映射等。同时，还介绍了如何监听本地端口的tcp请求，以及删除规则和开放的端口的方法。 ... [详细]

蜡笔小新 2023-12-13 10:22:21
export
Linux如何安装Mongodb的详细步骤和注意事项

本文介绍了Linux如何安装Mongodb的详细步骤和注意事项，同时介绍了Mongodb的特点和优势。Mongodb是一个开源的数据库，适用于各种规模的企业和各类应用程序。它具有灵活的数据模式和高性能的数据读写操作，能够提高企业的敏捷性和可扩展性。文章还提供了Mongodb的下载安装包地址。 ... [详细]

蜡笔小新 2023-12-12 21:54:15
include
Composer依赖管理的重要性及使用方法

本文介绍了Composer依赖管理的重要性及使用方法。对于现代语言而言，包管理器是标配，而Composer作为PHP的包管理器，解决了PEAR的问题，并且使用简单，方便提交自己的包。文章还提到了使用Composer能够避免各种include的问题，避免命名空间冲突，并且能够方便地安装升级扩展包。 ... [详细]

蜡笔小新 2023-12-11 17:06:18
php
如何实现JDK版本的切换功能，解决开发环境冲突问题

本文介绍了在开发过程中遇到JDK版本冲突的情况，以及如何通过修改环境变量实现JDK版本的切换功能，解决开发环境冲突的问题。通过合理的切换环境，可以更好地进行项目开发。同时，提醒读者注意不仅限于1.7和1.8版本的转换，还要适应不同项目和个人开发习惯的需求。 ... [详细]

蜡笔小新 2023-12-10 19:24:11

簕竹仔_591

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章