开发笔记:Hadoop入门(十三)——集群常用知识(面试题)与技巧总结

这个系列文章传送门:
Hadoop入门(一)——CentOS7下载&＃43;VM上安装&＃xff08;手动分区&＃xff09;图文步骤详解(2021)
Hadoop入门(二)——VMware虚拟网络设置&＃43;Windows10的IP地址配置&＃43;CentOS静态IP设置&＃xff08;图文详解步骤2021&＃xff09;
Hadoop入门(三)——XSHELL7远程访问工具&＃43;XFTP7文件传输&＃xff08;图文步骤详解2021&＃xff09;
Hadoop入门(四)——模板虚拟机环境准备&＃xff08;图文步骤详解2021&＃xff09;
Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机&＃xff08;图文步骤详解2021&＃xff09;
Hadoop入门(六)——JDK安装&＃xff08;图文步骤详解2021&＃xff09;
Hadoop入门(七)——Hadoop安装&＃xff08;图文详解步骤2021&＃xff09;
Hadoop入门(八)——本地运行模式&＃43;完全分布模式案例详解&＃xff0c;实现WordCount和集群分发脚本xsync快速配置环境变量 &＃xff08;图文详解步骤2021&＃xff09;
Hadoop入门(九)——SSH免密登录 配置
Hadoop入门(十)——集群配置&＃xff08;图文详解步骤2021&＃xff09;
Hadoop入门(十一)——集群崩溃的处理方法&＃xff08;图文详解步骤2021&＃xff09;
Hadoop入门(十二)——配置历史服务器及日志的聚集&＃xff08;图文详解步骤2021&＃xff09;
Hadoop入门(十三)——集群常用知识(面试题)与技巧总结
Hadoop入门(十四)——集群时间同步&＃xff08;图文详解步骤2021&＃xff09;
Hadoop入门(十五)——集群常见错误及解决方案

1 &＃xff09; 各个模块分开启动/ 停止 &＃xff08;配置 ssh 是前提&＃xff09; 常用

&＃xff08;1&＃xff09;整体启动/停止 HDFS

start-dfs.sh/stop-dfs.sh


&＃xff08;2&＃xff09;整体启动/停止 YARN

start-yarn.sh/stop-yarn.sh


2 &＃xff09; 各个服务组件逐一启动/ 停止

&＃xff08;1&＃xff09;分别启动/停止 HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode


&＃xff08;2&＃xff09;启动/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager


虽然上面的命令不是很复杂&＃xff0c;但每次启动都要输入&＃xff0c;比较麻烦&＃xff0c;因此想到把他们封装成脚本

1 &＃xff09;Hadoop 集群启停脚本&＃xff08;包含 HDFS &＃xff0c;Yarn &＃xff0c;Historyserver &＃xff09;&＃xff1a;

myhadoop.sh
[leokadia&＃64;hadoop102 hadoop-3.1.3]$ cd /home/leokadia/bin 进入c盘bin目录&＃xff0c;将脚本放在这里
[leokadia&＃64;hadoop102 bin]$ vim myhadoop.sh

➢ 输入如下内容
记住&＃xff1a;写脚本的时候能写绝对路径&＃xff0c;千万不要写相对路径&＃xff01;

#!/bin/bash

if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi

case $1 in
"start")
echo " &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; 启动 hadoop 集群 &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;"

echo " --------------- 启动 hdfs ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
echo " --------------- 启动 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
echo " --------------- 启动 historyserver ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
echo " &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; 关闭 hadoop 集群 &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;"

echo " --------------- 关闭 historyserver ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
echo " --------------- 关闭 hdfs ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac


➢ 保存后退出&＃xff0c;然后赋予脚本执行权限
[leokadia&＃64;hadoop102 bin]$ chmod &＃43;x myhadoop.sh

➢ 测试一下好不好使

2 &＃xff09;查看三台服务器 Java 进程脚本&＃xff1a;jpsall

由于每次查看进程都得到每台服务器上输入jps查看&＃xff0c;比较麻烦&＃xff0c;且如果服务器较多&＃xff0c;十分耗时&＃xff0c;于是想到编写一个脚本&＃xff0c;查看所有服务器的进程情况。

[leokadia&＃64;hadoop102 ~]$ cd /home/atguigu/bin
[leokadia&＃64;hadoop102 bin]$ vim jpsall

➢ 输入如下内容

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
echo &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; $host &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;
ssh $host jps
done


➢ 保存后退出&＃xff0c;然后赋予脚本执行权限
[leokadia&＃64;hadoop102 bin]$ chmod &＃43;x jpsall

3 &＃xff09;分发/home/leokadia/bin 目录&＃xff0c;保证自定义脚本在三台机器上都可以使用

[leokadia&＃64;hadoop102 ~]$ xsync /home/leokadia/bin/

在hadoop103、104上测试下能否正常使用

一、常用端口号

hadoop3.x

• HDFS NameNode 内部通信端口&＃xff1a;8020/9000/9820
• HDFS NameNode 对用户的查询端口&＃xff1a;9870
• Yarn查看任务运行情况的&＃xff1a;8088
• 历史服务器&＃xff1a;19888

hadoop2.x

• HDFS NameNode 内部通信端口&＃xff1a;8020/9000
• HDFS NameNode 对用户的查询端口&＃xff1a;50070
• Yarn查看任务运行情况的&＃xff1a;8088
• 历史服务器&＃xff1a;19888
  

二、常用的配置

hadoop3.x

• core-site.xml
• hdfs-site.xml
• yarn-site.xml
• mapred-site.xml
• workers

hadoop2.x

• core-site.xml
• hdfs-site.xml
• yarn-site.xml
• mapred-site.xml
• slaves