一次排查StackOverflowError的经历

0. 背景

某SpringBoot Application内部有一个任务管理模块。每隔1分钟&＃xff0c;quartz会调度某任务一次&＃xff0c;如果任务成功了&＃xff0c;该模块就记录下“这个任务于某年某月某日某时某分某秒成功了”。这个模块并不会把所有的任务的成功状态都记录下来&＃xff0c;只会记录下最近10次成功的任务。这个模块使用一个ArrayList来存储任务的成功状态&＃xff0c;如果ArrayList长度超过10了&＃xff0c;就使用subList方法取该ArrayList处于末端的10个成功状态。

整个过程简化一下&＃xff0c;就像下面一样&＃xff1a;

// quartz每分钟都跑一下某个任务&＃xff0c;并调用一次TaskStatusListener.onSuccess
public static class TaskStatusListener {...private static List successStatus &＃61; new ArrayList();...public static void onSuccess(String taskName) {successStatus.add(taskName &＃43; " succeeded at " &＃43; System.currentTimeMillis());int count &＃61; successStatus.size();if (count > 10) {successStatus &＃61; successStatus.subList(count - 10, count)}}
}

1. 症状

7月19日&＃xff0c;该SpringBoot项目部署上线后&＃xff0c;检查了一下日志&＃xff0c;没有报错&＃xff0c;就把这个项目放那跑着不管了&＃xff0c;投入另一个项目需求的开发。8月10日&＃xff0c;另一个项目的需求告一段落&＃xff0c;开始开发该SpringBoot项目的需求。去后台观察了一下日志&＃xff0c;发现有quartz线程不断地抛StackOverflowError&＃xff0c;一分钟抛一次&＃xff0c;严重影响用户对日志的观察&＃xff0c;观感如下&＃xff1a;

2. 问题所在&＃xff1a;

① Java8的ArrayList类里有一个内部类&＃xff0c;叫SubList&＃xff0c;它的定义是这样的&＃xff1a;

请注意&＃xff0c;它有一个类型为AbstractList的成员变量&＃xff0c;该成员变量名为parent。

假设我们有一个名为a的ArrayList&＃xff0c;调用a.subList()&＃xff0c;会返回一个类型为ArrayList$SubList的b对象&＃xff1b;由于b是从a派生出来的&＃xff0c;所以b.parent其实就是a&＃xff0c;b持有对a的引用。如果调用b.subList()&＃xff0c;则会返回一个类型为ArrayList$SubList的c对象&＃xff0c;c持有对b的引用。以此类推。

② ArrayList$SubList.add()方法的定义是这样的&＃xff1a;

注意到其中有一行是parent.add(parentOffset &＃43; index, e);

③ 外层任务每分钟被调用一次&＃xff0c;每天被调用1440次&＃xff0c;也就是说&＃xff0c;successStatus这个成员变量每天指向1440辈之后的儿子&＃xff0c;这个儿子持有所有祖先的引用。

综合①②③&＃xff0c;可以得出结论&＃xff0c;当共同使用ArrayList.subList()和SubList.add()方法来存储任务状态时&＃xff0c;是一定会爆方法栈的。该应用从7月19日开始启动时未指定-Xss&＃xff0c;默认Xss&＃61;320KB或1024KB&＃xff0c;假设每帧32B&＃xff08;往小了算&＃xff09;&＃xff0c;最多叠加32768层栈帧&＃xff08;8月11日&＃xff09;后&＃xff0c;栈就爆了。

3. 解决办法

当任务成功的记录超过10条&＃xff0c;需要裁减成功状态时&＃xff0c;不要用subList()方法slice出一个List了&＃xff0c;要new一个新的ArrayList赋给successStatus成员变量&＃xff1a;

// quartz每分钟都跑一下某个任务&＃xff0c;并调用一次TaskStatusListener.onSuccess
public static class TaskStatusListener {...private static List successStatus &＃61; new ArrayList();...public static void onSuccess(String taskName) {successStatus.add(taskName &＃43; " succeeded at " &＃43; System.currentTimeMillis());int count &＃61; successStatus.size();if (count > 10) {List newList &＃61; new ArrayList(10);newList.add(successStatus.get(count - 10));newList.add(successStatus.get(count - 9));newList.add(successStatus.get(count - 8));newList.add(successStatus.get(count - 7));newList.add(successStatus.get(count - 6));newList.add(successStatus.get(count - 5));newList.add(successStatus.get(count - 4));newList.add(successStatus.get(count - 3));newList.add(successStatus.get(count - 2));newList.add(successStatus.get(count - 1));successStatus &＃61; newList;}}
}