Java服务问题快速定位与解决策略全面指南

篇首语：本文由编程笔记#小编为大家整理，主要介绍了Java服务问题快速排查指南相关的知识，希望对你有一定的参考价值。

收到服务内存占用过大告警&＃xff0c;登录虚拟机使用top发现每隔几秒java进程占用的CPU就会暴增一次。

1. 使用tail -fn 100 xxx.log查看服务日志&＃xff0c;发现频繁打印连接mail服务器失败错误&＃xff0c;根据错误堆栈信息定位到业务代码位置
2. 定位业务代码中的错误

若代码中未打印出错信息&＃xff0c;可以考虑从jvm线程上入手。

1. 使用jps -mlv获取java服务pid
2. 使用top -H -p pid查看高占用线程&＃xff08;此时pid为tid&＃xff09;&＃xff0c;CPU打满时有10多个线程都占10%左右
3. 使用jstat -gc pid 1000及jstat -gcutil pid 1000查看gc情况&＃xff0c;发现大约每隔1到2秒jvm进行一次minor gc&＃xff0c;老年代空间几乎不变&＃xff0c;怀疑业务逻辑导致不断创建、释放新对象
4. 记录步骤2中高占用率的几个线程tid&＃xff0c;使用printf "%x\\n" tid将tid转为16进制
5. 使用jstack pid打印线程状态&＃xff0c;观察未出现死锁&＃xff0c;搜索上一步的16进制数对应的线程&＃xff0c;发现繁忙线程果真大都是gc线程&＃xff0c;同时参杂着自定义线程池的线程&＃xff0c;找到running状态的线程&＃xff0c;根据线程调用栈定位到代码中执行的位置
6. 业务代码中线程正在执行的是邮件发送操作&＃xff0c;与方向一种错误位置吻合
7. 定位到错误根源&＃xff1a;该机器未开启外网访问权限&＃xff0c;而代码业务逻辑中检测邮件发送连接失败则直接扔回队列中重试&＃xff0c;因为没有设定最大重试次数导致频繁创建邮件消息体&＃xff0c;耗尽堆空间&＃xff0c;打开外网后问题解决

辅助分析
使用jmap -dump:format&＃61;b,file&＃61;dump.bin pid生成堆转储文件&＃xff0c;使用jhat dump.bin或复制到有VisualVM等分析工具的机器上进行分析&＃xff0c;可以发现占用堆空间最大的是char[]数组&＃xff0c;打开其中几个发现内容都是一致的&＃xff0c;都是邮件发送的消息体。

1. 可以结合free、vmstat、iostat、netstat等系统命令进行分析排查
2. 将上述步骤写成脚本方便快速定位问题&＃xff0c;网上已有不少例子&＃xff0c;如 https://github.com/oldratlee/useful-scripts