Hadoop详解(二)——HDFS的命令，执行过程，Java接口，原理详解。RPC机制

Usage: hadoop fs [generic options]        [-appendToFile  ... ]  将文件追加到指定文件
        [-cat [-ignoreCrc]  ...]     查看文件内容
        [-checksum  ...]     获取校验格 很少用
        [-chgrp [-R] GROUP PATH...]   改变HDFS中文件的所属组
        [-chmod [-R]  PATH...]  改变文件权限
        [-chown [-R] [OWNER][:[GROUP]] PATH...]   改变文件的所属用户或所属组
        [-copyFromLocal [-f] [-p] [-l]  ... ]   将本地系统的文件拷贝到HDFS系统上 相当于put命令
        [-copyToLocal [-p] [-ignoreCrc] [-crc]  ... ] 将HDFS上的文件拷贝到本地系统 相当于get命令
        [-count [-q] [-h]  ...]    统计HDFS指定路径下文件和文件夹的数量 以及占用空间的大小
        [-cp [-f] [-p | -p[topax]]  ... ]  将HDFS的文件拷贝到另一个地方 指的将HDFS文件拷贝到HDFS的另一处
        [-createSnapshot  []]
        [-deleteSnapshot  ]
        [-df [-h] [ ...]]
        [-du [-s] [-h]  ...]
        [-expunge]
        [-find  ...  ...]
        [-get [-p] [-ignoreCrc] [-crc]  ... ]  下载文件到本地系统
        [-getfacl [-R] ]
        [-getfattr [-R] {-n name | -d} [-e en] ]
        [-getmerge [-nl]  ]
        [-help [cmd ...]]   -help+命令  查看命令的使用帮助
        [-ls [-d] [-h] [-R] [ ...]]    HDFS文件查看  参数-R 表示递归查看  -H  将文件大小由字节单位转为K M等单位
        [-mkdir [-p]  ...]  在HDFS系统上创建文件夹
        [-moveFromLocal  ... ] 从本地剪切一个文件上传到HDFS系统(相当于上传文件后将本地此文件删除)
        [-moveToLocal  ] 相当于将HDFS上的文件下载到本地 然后再将HDFS系统上的此文件删除
        [-mv  ... ]   将HDFS系统的内容从一处移动到HDFS系统上的另一位置
        [-put [-f] [-p] [-l]  ... ]  将本地文件上传至HDFS系统
        [-renameSnapshot   ]
        [-rm [-f] [-r|-R] [-skipTrash]  ...] 将HDFS系统上的某文件删除(不加参数只能删除文件类型 加-R可删除文件夹)
        [-rmdir [--ignore-fail-on-non-empty]  ...] 只能删除HDFS上的文件夹 有很大局限性
        [-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set  ]]
        [-setfattr {-n name [-v value] | -x name} ]
        [-setrep [-R] [-w]   ...]
        [-stat [format]  ...]
        [-tail [-f] ]   查看文件尾部的内容
        [-test -[defsz] ]
        [-text [-ignoreCrc]  ...] 相当于-cat 查看HDFS系统上的文件内容
        [-touchz  ...]  可以在HDFS系统上创建文件 相当于Linux系统的touch命令
        [-truncate [-w]   ...]
        [-usage [cmd ...]]

package liuxun.test.hadoop.rpc;public interface Bizable {	public static final long versiOnID= 1000000L;	public  String sayHello(String name);}

package liuxun.test.hadoop.rpc;import java.io.IOException;import org.apache.hadoop.HadoopIllegalArgumentException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.ipc.RPC;import org.apache.hadoop.ipc.RPC.Server;public class RPCServer implements Bizable {	public String sayHello(String name) {		return "hello " + name;	}	public static void main(String[] args) throws Exception {		Configuration cOnf= new Configuration();		Server server = new RPC.Builder(conf).setProtocol(Bizable.class).setInstance(new RPCServer()).setBindAddress("192.168.0.3")				.setPort(9988).build();		server.start();	}}

package liuxun.test.hadoop.rpc;import java.io.IOException;import java.net.InetSocketAddress;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.ipc.RPC;public class RPCClient {	public static void main(String[] args) throws Exception {		Bizable proxy = RPC.getProxy(Bizable.class, 1112222L, new InetSocketAddress("192.168.0.3", 9988),				new Configuration());		String result = proxy.sayHello("hadoop"); //$NON-NLS-1$		System.out.println(result);		RPC.stopProxy(proxy);	}}

package liuxun.test.hadoop.hdfs;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import org.junit.Before;import org.junit.Test;public class HDFSDemo {	FileSystem fs  = null;	@Before	public void init() throws Exception {		// 首先创建FileSystem的实现类(工具类)		fs = FileSystem.get(new URI("hdfs://hadoop0:9000"), new Configuration(),"root"); 	}		@Test	public void testUpload() throws  Exception {		// 读取本地系统的文件，返回输入流		InputStream in = new FileInputStream("/Users/liuxun/Desktop/Eclipse.zip");		// 在HDFS上创建一个文件，返回输出流		OutputStream out  = fs.create(new Path("/testEclipse"));		// 输入——>输出		IOUtils.copyBytes(in, out, 4096, true);	}		@Test	public void testDownload() throws Exception { //最简洁的下载方式		fs.copyToLocalFile(new Path("/log.log"), new Path("/Users/liuxun/Downloads/log.txt"));	}	@Test	public void testMkdir() throws Exception {		boolean flag = fs.mkdirs(new Path("/aaa/bbb/ccc"));		System.out.println(flag);	}		@Test	public void testDelete() throws Exception {		// 第二个参数recursive boolean 表示是否递归删除所有子文件/文件夹		boolean flag = fs.delete(new Path("/aaa/bbb"), true); 		System.out.println(flag);	}			public static void main(String[] args) throws Exception {		FileSystem fs = FileSystem.get(new URI("hdfs://hadoop0:9000"), new Configuration()); 		InputStream in = fs.open(new Path("/words"));		OutputStream out = new FileOutputStream("/Users/liuxun/Downloads/t.txt");		IOUtils.copyBytes(in, out , 4096,true);			}}