开发笔记:CentOS下Hadoop环境搭建Hadoop

篇首语：本文由编程笔记#小编为大家整理，主要介绍了CentOS 下 Hadoop 环境搭建--Hadoop相关的知识，希望对你有一定的参考价值。

---恢复内容开始---

①解压Hadoop到自定目录下面（这里解压到/opt/hadoop目录下）

　　tar -zxvf hadoop-2.5.0.tar.gz -C /opt/hadoop

②清理Hadoop目录，删除/opt/hadoop/hadoop-2.5.0/share/doc 文件

　　rm -rf /opt/hadoop/hadoop-2.5.0/share/doc

③修改文件，指定java安装目录

　　修改/hadoop-2.5.0/etc/hadoop/hadoop-env.sh文件

　　　　export JAVA_HOME=/opt/hadoop/jdk1.7.0_67

　　修改/hadoop-2.5.0/etc/hadoop/mapred-env.sh文件

　　　　export JAVA_HOME=/opt/hadoop/jdk1.7.0_67

　　　　修改/hadoop-2.5.0/etc/hadoop/yarn-env.sh文件

　　　　export JAVA_HOME=/opt/hadoop/jdk1.7.0_67

④测试

　　输入 bin/hadoop version 进行测试

⑤修改/hadoop-2.5.0/etc/hadoop/core-site.xml文件

　　修改/hadoop-2.5.0/etc/hadoop/hdfs-site.xml文件

 修改/hadoop-2.5.0/etc/hadoop/slaves 文件

　　指定从节点的机器位置，添加主机名即可

⑥格式化namenode

　　格式化成功

⑦启动namenode 和datanode 两个服务

　　sbin/hadoop-daemon.sh start namenode

　　sbin/hadoop-daemon.sh start datanode

　　查看服务是否启动成功

　　jps

 ⑧查看HDFS外部界面

　　IP地址：50070    或者    主机名：50070

⑨测试HDFS环境：

　　创建文件夹：bin/hdfs dfs -mkdir -p haoxin/input

　　上传文件到HDFS：bin/hdfs dfs -put etc/hadoop/core-site.xml   /

　　读取文件内容：bin/hdfs dfs -text /core-site.xml

　　下载到本地：bin/hdfs dfs -get /core-site.xml /home/haoxin/Music/get-sit.xml

⑩修改/hadoop-2.5.0/etc/hadoop/mapred-site.xml文件

修改/hadoop-2.5.0/etc/hadoop/yan-site.xml文件

启动yarn 的两个resourcemanager  和  nodemanager 这两个服务

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

查看yarn的外部界面

　　IP地址：8088   或者    主机名：8088

测试环境，运行mapreduce, wordcount 单词统计案例

　　新建数据文件并写入内容，用于测试   /opt/datas/file_text.txt

　　数据上传到HDFS  bin/hdfs  dfs -put /opt/datas/file_text.txt /user/haoxin/haoxin/input

　　运行：bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount 

/user/haoxin/haoxin/input /user/haoxin/haoxin/output

---恢复内容结束---