热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

HDFS的JavaAPI的访问方式实例代码

这篇文章主要介绍了HDFS的JavaAPI的访问方式实例代码,分享了相关代码示例,小编觉得还是挺不错的,具有一定借鉴价值,需要的朋友可以参考下

本文研究的主要是HDFS的Java API的访问方式,具体代码如下所示,有详细注释。

最近的节奏有点儿快,等有空的时候把这个封装一下

实现代码

要导入的包:

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import org.apache.hadoop.hdfs.protocol.DatanodeInfo;

实体方法:

/**
   * 获取HDFS文件系统
   * @return
   * @throws IOException 
   * @throws URISyntaxException 
   */
public static FileSystem getFileSystem() throws IOException, URISyntaxException{
	//read config file
	Configuration cOnf= new Configuration();
	//返回默认文件系统
	//如果在Hadoop集群下运行,使用此种方法可以直接获取默认文件系统
	//FileSystem fs = FileSystem.get(conf);
	//指定的文件系统地址
	URI uri = new URI("hdfs://hy:9000");
	//返回指定的文件系统
	//如果在本地测试,需要使用此种方法获取文件系统
	FileSystem fs = FileSystem.get(uri, conf);
	return fs;
}
/**
   * 创建文件目录
   * @throws Exception
   */
public static void mkdir() throws Exception{
	//获取文件系统
	FileSystem fs = getFileSystem();
	//创建文件目录
	fs.mkdirs(new Path("hdfs://hy:9000/hy/weibo"));
	//释放资源
	fs.close();
}
/**
   * 删除文件或者文件目录
   * @throws Exception
   */
public static void rmdir() throws Exception{
	//获取文件系统
	FileSystem fs = getFileSystem();
	//删除文件或者文件目录
	fs.delete(new Path("hdfs://hy:9000/hy/weibo"), true);
	//释放资源
	fs.close();
}
/**
   * 获取目录下所有文件
   * @throws Exception
   */
public static void listAllFile() throws Exception{
	//获取文件系统
	FileSystem fs = getFileSystem();
	//列出目录内容
	FileStatus[] status = fs.listStatus(new Path("hdfs://hy:9000/hy/"));
	//获取目录下所有文件路径
	Path[] listedPaths = FileUtil.stat2Paths(status);
	//循环读取每个文件
	for (Path path : listedPaths) {
		System.out.println(path);
	}
	//释放资源
	fs.close();
}
/**
   * 将文件上传至HDFS
   * @throws Exception
   */
public static void copyToHDFS() throws Exception{
	//获取文件对象
	FileSystem fs = getFileSystem();
	//源文件路径是Linux下的路径 Path srcPath = new Path("/home/hadoop/temp.jar");
	//如果需要在windows下测试,需要改为Windows下的路径,比如 E://temp.jar
	Path srcPath = new Path("E://temp.jar");
	//目的路径
	Path dstPath = new Path("hdfs://hy:9000/hy/weibo");
	//实现文件上传
	fs.copyFromLocalFile(srcPath, dstPath);
	//释放资源
	fs.close();
}
/**
   * 从HDFS上下载文件
   * @throws Exception
   */
public static void getFile() throws Exception{
	//获得文件系统
	FileSystem fs = getFileSystem();
	//源文件路径
	Path srcPath = new Path("hdfs://hy:9000/hy/weibo/temp.jar");
	//目的路径,默认是Linux下的
	//如果在Windows下测试,需要改为Windows下的路径,如C://User/andy/Desktop/
	Path dstPath = new Path("D://");
	//下载HDFS上的文件
	fs.copyToLocalFile(srcPath, dstPath);
	//释放资源
	fs.close();
}
/**
   * 获取HDFS集群点的信息
   * @throws Exception
   */
public static void getHDFSNodes() throws Exception{
	//获取文件系统
	FileSystem fs = getFileSystem();
	//获取分布式文件系统
	DistributedFileSystem hdfs = (DistributedFileSystem)fs;
	//获取所有节点
	DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();
	//循环比遍历
	for (int i = 0; i 

总结

以上就是本文关于HDFS的Java API的访问方式实例代码的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!


推荐阅读
  • 深入解析Hadoop的核心组件与工作原理
    本文详细介绍了Hadoop的三大核心组件:分布式文件系统HDFS、资源管理器YARN和分布式计算框架MapReduce。通过分析这些组件的工作机制,帮助读者更好地理解Hadoop的架构及其在大数据处理中的应用。 ... [详细]
  • 从码农到创业者:我的职业转型之路
    在观察了众多同行的职业发展后,我决定分享自己的故事。本文探讨了为什么大多数程序员难以成为架构师,并阐述了我从一家外企离职后投身创业的心路历程。 ... [详细]
  • 深入解析BookKeeper的设计与应用场景
    本文介绍了由Yahoo在2009年开发并于2011年开源的BookKeeper技术。BookKeeper是一种高效且可靠的日志流存储解决方案,广泛应用于需要高性能和强数据持久性的场景。 ... [详细]
  • 在CentOS上构建Ntopng实时网络流量监控平台
    本文详细介绍了如何在CentOS操作系统上安装和配置Ntopng,一个强大的网络流量监控工具。Ntopng能够提供实时的网络流量分析,并通过Web界面展示详细的流量报告。 ... [详细]
  • 本文详细介绍了Rsync的数据同步工具,包括其核心算法、安装配置方法以及实际应用中的注意事项,适合IT运维人员和技术爱好者阅读。 ... [详细]
  • 本文详细介绍了 Flink 和 YARN 的交互机制。YARN 是 Hadoop 生态系统中的资源管理组件,类似于 Spark on YARN 的配置方式。我们将基于官方文档,深入探讨如何在 YARN 上部署和运行 Flink 任务。 ... [详细]
  • 本文详细介绍了 Java 中的 org.apache.hadoop.registry.client.impl.zk.ZKPathDumper 类,提供了丰富的代码示例和使用指南。通过这些示例,读者可以更好地理解如何在实际项目中利用 ZKPathDumper 类进行注册表树的转储操作。 ... [详细]
  • 阿里云ecs怎么配置php环境,阿里云ecs配置选择 ... [详细]
  • Hadoop发行版本选择指南:技术解析与应用实践
    本文详细介绍了Hadoop的不同发行版本及其特点,帮助读者根据实际需求选择最合适的Hadoop版本。内容涵盖Apache Hadoop、Cloudera CDH等主流版本的特性及应用场景。 ... [详细]
  • 全面解析运维监控:白盒与黑盒监控及四大黄金指标
    本文深入探讨了白盒和黑盒监控的概念,以及它们在系统监控中的应用。通过详细分析基础监控和业务监控的不同采集方法,结合四个黄金指标的解读,帮助读者更好地理解和实施有效的监控策略。 ... [详细]
  • 本文详细介绍了使用ZooKeeper构建高可用集群的方法,包括必要的软件环境准备、配置文件调整及集群启动等关键步骤。通常,一个ZooKeeper集群由奇数个节点组成,以确保Leader选举的有效性。 ... [详细]
  • 深入解析Spark核心架构与部署策略
    本文详细探讨了Spark的核心架构,包括其运行机制、任务调度和内存管理等方面,以及四种主要的部署模式:Standalone、Apache Mesos、Hadoop YARN和Kubernetes。通过本文,读者可以深入了解Spark的工作原理及其在不同环境下的部署方式。 ... [详细]
  • 优化使用Apache + Memcached-Session-Manager + Tomcat集群方案
    本文探讨了使用Apache、Memcached-Session-Manager和Tomcat集群构建高性能Web应用过程中遇到的问题及解决方案。通过重新设计物理架构,解决了单虚拟机环境无法真实模拟分布式环境的问题,并详细记录了性能测试结果。 ... [详细]
  • 构建Filebeat-Kafka-Logstash-ElasticSearch-Kibana日志收集体系
    本文介绍了如何使用Filebeat、Kafka、Logstash、ElasticSearch和Kibana构建一个高效、可扩展的日志收集与分析系统。各组件分别承担不同的职责,确保日志数据能够被有效收集、处理、存储及可视化。 ... [详细]
  • 大数据时代的机器学习:人工特征工程与线性模型的局限
    本文探讨了在大数据背景下,人工特征工程与线性模型的应用及其局限性。随着数据量的激增和技术的进步,传统的特征工程方法面临挑战,文章提出了未来发展的可能方向。 ... [详细]
author-avatar
hanliu46460
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有