热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

HDFS日常操作命令(Linux环境)

(0)启动Hadoop集群[ck@hadoop102hadoop-2.9.0]$sbinstart-dfs.sh[ck@hadoop103hadoop-2.9.0]$sbinsta

(0)启动Hadoop集群


[ck@hadoop102 hadoop-2.9.0]$ sbin/start-dfs.sh
[ck@hadoop103 hadoop
-2.9.0]$ sbin/start-yarn.sh


(1) -help:输出这个命令的参数


[ck@hadoop103 hadoop-2.9.0]$ hadoop fs -help rm


(2)-ls:显示目录信息


[ck@hadoop103 hadoop-2.9.0]$ hadoop fs -ls / (查看/目录)
[ck@hadoop103 hadoop
-2.9.0]$ hadoop fs -lsr / (查看/目录及子目录)


(3)-mkdir:在HDFS上创建目录


[ck@hadoop103 hadoop-2.9.0]$ hadoop fs -mkdir -p /sanguo/shuguo


(4)-moveFromLocal:从本地剪切粘贴到HDFS


[ck@hadoop103 hadoop-2.9.0]$ touch kongming.txt
[ck@hadoop103 hadoop
-2.9.0]$ vim kongming.txt
[ck@hadoop103 hadoop
-2.9.0]$ bin/hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo/


(5)-appendToFile:追加一个文件到已经存在的文件末尾(删除本地文件)


[ck@hadoop102 hadoop-2.9.0]$ touch liubei.txt
[ck@hadoop102 hadoop
-2.9.0]$ vim liubei.txt
[ck@hadoop102 hadoop
-2.9.0]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt
[ck@hadoop102 hadoop
-2.9.0]$ hadoop fs -cat /sanguo/shuguo/kongming.txt


(6)-chgrp、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -chgrp ck /sanguo/shuguo/kongming.txt


(7)-copyFromLocal:从本地文件系统中拷贝到HDFS路径中


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -copyFromLocal ./caochao.txt /sanguo/shuguo/


(8) -copyToLocal:从HDFS拷贝到本地


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./


(9) -cp:从HDFS的一个路径拷贝到HDFS的另一个路径


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /sanguo/


(10)-mv:在HDFS中移动文件


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -mv /sanguo/kongming.txt /


(11)-get:等同于copyToLocal,从HDFS下载到本地


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -get /kongming.txt ./


(12)-getmerge:合并下载多个文件,比如HDFS的目录/sanguo/shuguo下的文件全部合并下载到本地目录。


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -getmerge /sanguo/shuguo/* ./zaiyiqi.txt


(13)-put:等同于copyFromLocal


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -put ./LICENSE.txt /sanguo/shuguo/


(14)-tail:显示一个文件的末尾


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -tail /sanguo/shuguo/LICENSE.txt


(15)-rm:删除文件或文件夹


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -rm /sanguo/shuguo/LICENSE.txt


(16)-rmdir:删除空目录


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -mkdir /test
[ck@hadoop102 hadoop
-2.9.0]$ hadoop fs -rmdir /test


(17)-du: 统计文件夹的大小信息


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -du /
366744329 /hadoop-2.9.0.tar.gz
16 /kongming.txt
49 /sanguo
45 /wc.input
[ck@hadoop102 hadoop
-2.9.0]$ hadoop fs -du -h / (换算显示)
349.8 M /hadoop-2.9.0.tar.gz
16 /kongming.txt
49 /sanguo
45 /wc.input
[ck@hadoop102 hadoop
-2.9.0]$ hadoop fs -du -h -s / (目录总和)
349.8 M /


(18)-setrep: 设置HDFS中文件的副本数据


[ck@hadoop102 hadoop-2.9.0]$ hadoop fs -setrep 2 /kongming.txt

        这里设置的副本数只是记录在NameNode的元数据中,是否真的会有这么多副本,还得看DataNode的数量。因为目前只有3台设备,最多也就3个副本,只有节点数增加到10台时,副本数才能达到10。

 

案例整理来源于atguigu视频


推荐阅读
  • Vim 编辑器功能强大,但其默认的配色方案往往不尽如人意,尤其是注释颜色为蓝色时,对眼睛极为不友好。为了提升编程体验,自定义配色方案显得尤为重要。通过合理调整颜色,不仅可以减轻视觉疲劳,还能显著提高编码效率和兴趣。 ... [详细]
  • CentOS 7 中 iptables 过滤表实例与 NAT 表应用详解
    在 CentOS 7 系统中,iptables 的过滤表和 NAT 表具有重要的应用价值。本文通过具体实例详细介绍了如何配置 iptables 的过滤表,包括编写脚本文件 `/usr/local/sbin/iptables.sh`,并使用 `iptables -F` 清空现有规则。此外,还深入探讨了 NAT 表的配置方法,帮助读者更好地理解和应用这些网络防火墙技术。 ... [详细]
  • 基于域名、端口和IP的虚拟主机构建方案
    本文探讨了在单台物理服务器上构建多个Web站点的虚拟主机方案,详细介绍了三种主要的虚拟主机类型:基于域名、基于IP地址和基于端口的虚拟主机。每种类型的实现方式及其优缺点均进行了深入分析,为实际应用提供了全面的技术指导。 ... [详细]
  • 全面解析:Hadoop技术栈中的Linux操作系统概览
    全面解析:Hadoop技术栈中的Linux操作系统概览 ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • 零拷贝技术是提高I/O性能的重要手段,常用于Java NIO、Netty、Kafka等框架中。本文将详细解析零拷贝技术的原理及其应用。 ... [详细]
  • 微软推出Windows Terminal Preview v0.10
    微软近期发布了Windows Terminal Preview v0.10,用户可以在微软商店或GitHub上获取这一更新。该版本在2月份发布的v0.9基础上,新增了鼠标输入和复制Pane等功能。 ... [详细]
  • 使用虚拟机配置服务器
    本文详细介绍了如何使用虚拟机配置服务器,包括购买云服务器的操作步骤、系统默认配置以及相关注意事项。通过这些步骤,您可以高效地配置和管理您的服务器。 ... [详细]
  • 在CentOS 7环境中安装配置Redis及使用Redis Desktop Manager连接时的注意事项与技巧
    在 CentOS 7 环境中安装和配置 Redis 时,需要注意一些关键步骤和最佳实践。本文详细介绍了从安装 Redis 到配置其基本参数的全过程,并提供了使用 Redis Desktop Manager 连接 Redis 服务器的技巧和注意事项。此外,还探讨了如何优化性能和确保数据安全,帮助用户在生产环境中高效地管理和使用 Redis。 ... [详细]
  • Linux基础知识:Vi与Vim编辑器详解
    Linux基础知识:Vi与Vim编辑器详解 ... [详细]
  • 在 Linux 环境下,多线程编程是实现高效并发处理的重要技术。本文通过具体的实战案例,详细分析了多线程编程的关键技术和常见问题。文章首先介绍了多线程的基本概念和创建方法,然后通过实例代码展示了如何使用 pthreads 库进行线程同步和通信。此外,还探讨了多线程程序中的性能优化技巧和调试方法,为开发者提供了宝贵的实践经验。 ... [详细]
  • 在 CentOS 6.5 系统上部署 VNC 服务器的详细步骤与配置指南
    在 CentOS 6.5 系统上部署 VNC 服务器时,首先需要确认 VNC 服务是否已安装。通常情况下,VNC 服务默认未安装。可以通过运行特定的查询命令来检查其安装状态。如果查询结果为空,则表明 VNC 服务尚未安装,需进行手动安装。此外,建议在安装前确保系统的软件包管理器已更新至最新版本,以避免兼容性问题。 ... [详细]
  • 七款高效编辑器与笔记工具推荐:KindEditor自动换行功能解析
    本文推荐了七款高效的编辑器与笔记工具,并详细解析了KindEditor的自动换行功能。其中,轻笔记QingBiJi是一款完全免费的记事本软件,用户可以通过其简洁的界面和强大的功能轻松记录和管理日常事务。此外,该软件还支持多平台同步,确保用户在不同设备间无缝切换。 ... [详细]
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • 技术日志:Ansible的安装及模块管理详解 ... [详细]
author-avatar
mobiledu2502897297
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有