Hadoop单节点（或集群）基本配置信息

1. 默认配置文件: 存放于Hadoop对应的jar包中

• core-default.xml
• hdfs-default.xml
• yarn-default.xml
• mapred-default.xml

2. 自定义配置文件&＃xff1a; $HADOOP_HOME/etc/hadoop

• core-site.xml
• hdfs-site.xml
• yarn-site.xml
• mapred-site.xml

2.1 core-site.xml

fs.defaultFShdfs://localhost:9000hadoop.tmp.dir/(自定义路径&＃xff09;/hadoop-2.8.5/data/tmp

2.2 hadoop-env.sh

export JAVA_HOME&＃61;服务器java环境变量

2.3 hdfs-site.xml

dfs.replication1dfs.namenode.rpc-bind-host0.0.0.0

2.4 yarn-site.xml

yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostname0.0.0.0yarn.resourcemanager.webapp.address${yarn.resourcemanager.hostname}:8090yarn.log-aggregation-enabletrueyarn.log-aggregation.retain-seconds604800

2.5 yarn-env.sh 配置

export JAVA_HOME&＃61;服务器java环境变量

2.6 mapred-site.xml

mapreduce.framework.nameyarnmapreduce.jobhistory.addresslocalhost:10020mapreduce.jobhistory.webapp.address0.0.0.0:8091

2.7 mapred-env.sh 配置

export JAVA_HOME&＃61;服务器java环境变量

3. Hadoop 集群配置

3.1 节点内容预览

3.2 core-site.xml 配置

fs.defaultFShdfs://节点1:9000hadoop.tmp.dir/(自定义路径&＃xff09;/hadoop-2.8.5/data/tmp

3.3 hadoop-env.sh 配置

export JAVA_HOME&＃61;服务器java环境变量

3.4 hdfs-site.xml 配置

dfs.replication3dfs.namenode.secondary.http-address节点3主机名称&＃xff1a;端口号

3.5 yarn-env.sh 配置

export JAVA_HOME&＃61;服务器java环境变量

3.6 yarn-site.xml 配置

yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostname节点2yarn.resourcemanager.webapp.address${yarn.resourcemanager.hostname}:8090yarn.log-aggregation-enabletrueyarn.log-aggregation.retain-seconds604800

3.7 mapred-env.sh 配置

export JAVA_HOME&＃61;服务器java环境变量

3.8 mapred-site.xml 配置

mapreduce.framework.nameyarn

3.9 slaves 配置

节点1
节点2
节点3

4. 常用命令

1. bin/hdfs namenode -format: 格式化命令&＃xff1b;执行命令前&＃xff0c;需要将单节点&＃xff08;或集群&＃xff09;中的/data,/logs目录删除。
2. bin/hdfs dfs -put 待上传文件 上传的目的地&＃xff1a;将本地文件上传至hdfs中。
3. sbin/hadoop-daemon.sh start(stop) namenode: 启动(或停止&＃xff09;单节点NameNode。
4. sbin/hadoop-daemon.sh start(stop) datanode: 启动(或停止&＃xff09;单节点DataNode。
5. sbin/yarn-daemon.sh start(stop) resourcemanager: 启动(或停止&＃xff09;单节点ResourceManager。
6. sbin/yarn-daemon.sh start(stop) nodemanager: 启动(或停止&＃xff09;单节点NodeManager。
7. sbin/mr-jobhistory-daemon.sh start(stop) historyserver: 启动(或停止&＃xff09;单节点History记录。
8. sbin/start-dfs.sh: 启动HDFS集群&＃xff08;注意&＃xff1a;所有节点均已配置"Hadoop目录/etc/hadoop/slaves"&＃xff09;。
9. sbin/start-yarn.sh: 启动YARN集群&＃xff08;注意&＃xff1a;所有节点均已配置"Hadoop目录/etc/hadoop/slaves"; 另外&＃xff0c;需要在ResourceManager服务器启动&＃xff09;。
10. sbin/stop-dfs.sh: 停止HDFS集群。
11. sbin/stop-yarn.sh: 停止YARN集群。

5. 集群时间同步

• 时间同步的方式&＃xff1a;找一个机器&＃xff0c; 作为时间服务器&＃xff0c;所有机器与这台集群时间进行定时的同步&＃xff1b;
  • 检查ntp是否安装rpm -qa|grep ntp&＃xff1b;
  • 修改ntp配置文件/etc/ntp.conf&＃xff1b;
  • 修改/etc/sysconfig/ntpd文件&＃xff1b;
    • 让硬件时间与系统时间一起同步&＃xff1b;
  • 重启ntpd服务&＃xff1b;
  • 设置ntpd服务开机启动&＃xff1b;

参考资料&＃xff1a;

• 设置集群时间同步
• rpm命令