4、环境搭建Linux上Hadoop集群运行

配置Hadoop格式化

进入hadoop目录

bin/hdfs namenode -format

启动namenode相关

start-all.sh

查看HDFS报告

hdfs dfsadmin -report

浏览器查看节点状态http://master:50070 namenode和datanade信息

浏览器查看SecondaryNameNode状态信息 http://master:50090

启动yarn

start-yarn.sh

HDFS文件系统下创建/input目录

hdfs dfs -mkdir /input
hdfs dfs -ls /

复制用过的data.txt文件到HDFS文件系统的/input目录下

hdfs dfs -put ~/input/data.txt  /input
hdfs dfs -ls /input

查看HDFS文件系统下是否有输出数据存放的目录，有则删除

hdfs dfs -ls /
#删除
hdfs dfs -rm -r -f /目录名字

执行wordcount案例

hadoop jar share/hadoop/mapreduce/hadoopmapreduce-examples-2.7.1.jar wordcount /input/data.txt /output

yarn集群查看http://master:8088

网页查看HDFS文件系统http://master:50070,菜单选择Utilities>Browse the file system

hdfs查看输出数据文件内容

hdfs dfs -cat /output/part-r-00000

停止hadoop

stop-yarn.sh 	#停止yarn
hadoop-daemon.sh stop datanode	#停止datanode
hadoop-daemon.sh stop namenode	#停止namenode
hadoop-daemon.sh stop secondarynamenode		#停止secondarynamenode

jps查看是否全部关闭