hadoop(3)测试hdfs和mr

原本订的最少两天一篇就要坚持&＃xff0c;又到半夜12点了&＃xff0c;才想起来要写一点东西&＃xff0c;在这个时候能体会到阿里为什么要做一个技术公司了&＃xff0c;回报社会&＃xff0c;每个人都有这么一个阶段。废话少说&＃xff0c;开始开车。

今天的东西很简单就是测试之前搭建的hdfs和mr

1,首先保证start-dfs.sh和start-yarn.sh这两个脚本执行成功&＃xff0c;这个是前提

2&＃xff0c;先从直观上认识一下hdfs&＃xff0c;hdfs提供了一个网站可以看http://my01:50070

点击上图按钮之后&＃xff0c;

这里就可以看hdfs上面的东西了&＃xff0c;好的&＃xff0c;我们上传一个文件到hdfs上去

我将hadoop的安装包上传上去&＃xff0c;好&＃xff0c;到页面上看一下

刚刚上传的就成功了&＃xff0c;这里有几个名词需要说明一下&＃xff0c;size这个文件的大小&＃xff0c;replication备份数量&＃xff0c;之前配置的是1&＃xff0c;block size这个块大小&＃xff0c;这个版本默认128M,2.0之前默认64M,这样可以看出了一个hadoop-2.4.2.tar.gz被分成了两个块&＃xff0c;这里多一句&＃xff0c;谁分的呢&＃xff1f;先告诉答案&＃xff1a;客户端自己分的&＃xff0c;不是hdfs分的&＃xff0c;为什么&＃xff0c;之后会说到

2&＃xff0c;测试mr

hadoop安装包中有例子&＃xff0c;这个是做程序的一个基本的意识

就在这个目录下面

运行一个pi&＃xff0c;就是3.1415926这个东西

hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 6

解释一下上面那就命令 5--5个map

6---取样数量 取样越多执行的越接近

执行结果是3.6明显差距很大&＃xff0c;把取样数改大看看

hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 10

明显接近了&＃xff0c;好了&＃xff0c;今天就到这里了&＃xff0c;今天早早睡了

望指正&＃xff0c;不吝赐教