hadoop客户端代码

人工智能AI&＃xff1a;Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战&＃xff08;不定时更新&＃xff09;

org.apache.hadoophadoop-common3.0.0org.apache.hadoophadoop-hdfs3.0.0org.apache.hadoophadoop-client3.0.0org.apache.hadoophadoop-auth3.0.0

    FileSystem fs &＃61; null;&＃64;Beforepublic void init() throws Exception {Configuration conf &＃61; new Configuration();// conf.set("fs.defaultFS", "hdfs://node1:8020"); //NameNode 端口 fs.defaultFS/*** 参数优先级&＃xff1a; 1、客户端代码中设置的值 2、classpath下的用户自定义配置文件 3、然后是jar中默认配置*/// 获取一个hdfs的访问客户端 NameNode 端口 fs.defaultFSfs &＃61; FileSystem.get(new URI("hdfs://node1:8020"), conf, "root");}/*** 查看文件及文件夹信息* * &＃64;throws IOException* &＃64;throws IllegalArgumentException* &＃64;throws FileNotFoundException*/&＃64;Testpublic void testListAll() throws FileNotFoundException, IllegalArgumentException, IOException {FileStatus[] listStatus &＃61; fs.listStatus(new Path("/"));String flag &＃61; "";for (FileStatus fstatus : listStatus) {if (fstatus.isFile()) {flag &＃61; "f-- ";} else {flag &＃61; "d-- ";}System.out.println(flag &＃43; fstatus.getPath().getName());System.out.println(fstatus.getPermission());}}