linux下僵尸进程的发现与处理（kill9无法杀掉的进程）

环境信息&＃xff1a;

centos6.5

问题描述&＃xff1a;

大数据集群HDFS的DataNode的一个节点down掉&＃xff0c;去服务器查看&＃xff0c;发现datanode节点还在&＃xff0c;打算重新启动该节点的datanode&＃xff0c;使用hadoop-daemon.sh stop datanode方式停掉datanode发现执行失败&＃xff0c;提示使用kill -9杀掉进程&＃xff0c;按照此方式执行&＃xff0c;发现进程仍然存在&＃xff0c;并未被杀掉

问题排查&＃xff1a;

百度一下&＃xff0c;kill -9无法杀掉的进程大概率是僵尸进程&＃xff0c;使用top命令查看&＃xff0c;发现有一个僵尸进程

使用命令&＃xff1a;ps aux | grep Z

得到僵尸进程列表&＃xff1a;

PID为178744的进程正好为出问题的datanode进程&＃xff0c;问题得到证实

问题解决&＃xff1a;

查看该进程的父进程ps -aux | grep 178744

看到该进程的父进程是89552即hdfs的balancer进程

停掉balancer进程&＃xff0c;不久datanode的进程就被杀掉了

重新启动datanode进程&＃xff1a;hadoop-daemon.sh start datanode&＃xff0c;HDFS状态正常&＃xff0c;问题解决

疑问&＃xff1a;

hdfs的balancer进程为什么会导致datanode成为僵尸进程&＃xff1f;此问题暂时未得到答案&＃xff0c;后续继续研究&＃xff0c;知道答案的朋友欢迎留言讨论或者告知