前言 虽然 CMS 已经是很古老的垃圾回收器了&＃xff0c;大家现在动不动就G1、ZGC啥的&＃xff0c;但是据我所了解&＃xff0c;还是有很多公司的生产环境主要使用的 CMS&＃xff0c;包括我自己呆过的几家大厂也是。
因此在 JVM 面试中&＃xff0c;CMS 也是问的最多的&＃xff0c;包括我自己现在面试别人时&＃xff0c;问到 JVM 这一块&＃xff0c;我也喜欢从CMS开始&＃xff0c;逐渐深入。
不多废话&＃xff0c;今天我们就来盘他。
正文 1、什么是卡表&＃xff08;card table&＃xff09;&＃xff1f; 试想一下&＃xff0c;在进行 YGC 时&＃xff0c;如何判断是否存在老年代到新生代的引用&＃xff1f;
一个简单的办法是扫描整个老年代&＃xff0c;但是这个代价太大了&＃xff0c;因此 JVM 引入了卡表来解决这个问题。
卡表又称为卡片标记&＃xff08;card marking&＃xff09;&＃xff0c;由 Paul R. Wilson 和 Thomas G. Moher 在1989年发表的论文里提出。
其原理为&＃xff0c;在逻辑上将老年代空间分割为若干个固定大小的连续区域&＃xff0c;分割出来的每一个个区域就称为卡片&＃xff08;card&＃xff09;。另外&＃xff0c;为每个卡片准备一个与其对应的标记位&＃xff0c;最简单的实现方案是由字节数组实现&＃xff0c;以卡的编号作为索引。每个卡的大小通常介于128~512字节之间&＃xff0c;一般使用2的幂字节大小&＃xff0c;例如HotSpot使用512字节。
当卡片内部发生引用变化时&＃xff08;指针写操作&＃xff09;&＃xff0c;写屏障会将该卡在卡表中对应的字节标记为脏&＃xff08;dirty&＃xff09;。
有了卡表后&＃xff0c;在 YGC 时&＃xff0c;只需将卡表中被标记为 dirty 的 card 也作为扫描范围&＃xff0c;就可以保障不扫描整个老年代也不会有遗漏了。
2、什么是mod-uniontable&＃xff1f; 通过上面对 card table 的介绍&＃xff0c;我们知道 card table 会记录下老年代所有发生过引用变化对象所在的 card&＃xff0c;而 CMS 在并发标记等阶段&＃xff0c;也需要记录下老年代发生引用变化的对象以便后续重新扫描&＃xff0c;是否可以直接复用 card table&＃xff1f;
答案是不行的&＃xff0c;这是因为每次 YGC 过程中都涉及重置和重新扫描 card table&＃xff0c;这样是满足了 YGC 的需求&＃xff0c;但却破坏了CMS的需求&＃xff0c;CMS 需要的信息可能被 YGC 给重置掉了。为了避免丢失信息&＃xff0c;于是在 card table 之外另外加了一个 Bitmap叫做 mod-union table。
在 CMS 并发标记正在运行的过程中&＃xff0c;每当发生一次 YGC&＃xff0c;当 YGC 要重置 card table 里的某个记录时&＃xff0c;就会更新 mod-union table 对应的 bit&＃xff0c;相当于将 card table 里的信息转移到了 mod-union table 里。
这样&＃xff0c;最后到 Final remark 的时候&＃xff0c;card table 加 mod-union table 就足以记录在并发标记过程中老年代发生的所有引用变化了。
3、CMS 垃圾收集的过程&＃xff1f; CMS 垃圾收集的过程网上通常有两个版本&＃xff0c;4个步骤的和7个步骤的&＃xff0c;两个版本其实都是对的。
4个步骤应该主要是跟随周志明的说法&＃xff0c;而 CMS 的相关论文其实也是按4个步骤介绍。
7个步骤则应该更多是从 CMS 的日志得出的说法&＃xff0c;而7个步骤里其实也包含了上述的4个步骤&＃xff0c;可以理解为7个步骤是更细的说法。
个人而言&＃xff0c;我会更喜欢7个步骤的说法&＃xff0c;因此这边介绍下7个步骤的过程。
1&＃xff09;初始标记&＃xff08;Initial Mark&＃xff09;
STW&＃xff08;stop theworld&＃xff09;&＃xff0c;遍历GC Roots&＃xff0c;标记GCRoot 直达的对象。
2&＃xff09;并发标记&＃xff08;Concurrent Mark&＃xff09;
从初始标记阶段被标记为存活的对象作为起点&＃xff0c;向下遍历&＃xff0c;找出所有存活的对象。
同时&＃xff0c;由于该阶段是用户线程和GC线程并发执行&＃xff0c;对象之间的引用关系在不断发生变化&＃xff0c;对于这些对象&＃xff0c;都是需要进行重新标记的&＃xff0c;否则就会出现错误。为了提升重新标记的效率&＃xff0c;JVM 会使用写屏障&＃xff08;write barrier&＃xff09;将发生引用关系变化的对象所在的区域对应的card标记为 dirty&＃xff0c;后续只需要扫描这些 dirty card 区域即可&＃xff0c;避免扫描整个老年代。
3&＃xff09;并发预处理&＃xff08;Concurrent Preclean&＃xff09;
该阶段存在的意义主要是为了尽可能降低Final Remark阶段的耗时&＃xff0c;因为Final Remark阶段是 STW 的。
该阶段主要做的事是将上一阶段被标记为 dirty 的 card 所对应的区域进行重新扫描标记&＃xff0c;处理并发阶段发生引用变化的对象。
4&＃xff09;可中断的并发预处理&＃xff08;Concurrent Abortable Preclean&＃xff09;
该阶段和并发预处理做的事是基本一样的&＃xff0c;也是主要处理 dirty card。区别在于并发预处理只执行一次&＃xff0c;而本阶段会一直循环执行&＃xff0c;直到触发终止条件。
终止条件有以下几个&＃xff1a;
循环次数超过阈值 CMSMaxAbortablePrecleanLoops&＃xff0c;默认是0&＃xff0c;也就是没有循环次数的限制。
处理时间达到了阈值 CMSMaxAbortablePrecleanTime&＃xff0c;默认是5秒。
Eden区的内存使用率达到了阈值 CMSScheduleRemarkEdenPenetration&＃xff0c;默认为50%。
同时该阶段有一个触发前提&＃xff1a;
Eden 区的内存使用量大于参数CMSScheduleRemarkEdenSizeThreshold&＃xff0c;默认是2M。 5&＃xff09;最终标记/重新标记&＃xff08;Final Remark&＃xff09;
STW&＃xff08;stop theworld&＃xff09;&＃xff0c;主要做两件事&＃xff1a;
6&＃xff09;并发清理&＃xff08;Concurrent Sweep&＃xff09;
清理未使用的对象并回收它们占用的空间。
7&＃xff09;并发重置&＃xff08;Concurrent Reset&＃xff09;
重置 CMS算法用于打标的数据结构&＃xff08;markBitMap&＃xff09;&＃xff0c;为下一次收集做准备。
4、CMS存在的问题 1&＃xff09;使用的标记-清除算法&＃xff0c;可能存在大量空间碎片。
调优&＃xff1a;开启CMS压缩&＃xff0c;查看参数是否合理。
// 开启CMS压缩&＃xff0c;在FGC时执行压缩&＃xff0c;默认为true
2&＃xff09;并发清理可能出现“ConcurrentModeFailure”失败而导致另一次FullGC的产生
调优&＃xff1a;可能是触发GC的比例太高&＃xff0c;适当调低该值。
//?CMS触发GC的比例
3&＃xff09;对CPU资源非常敏感。在并发阶段&＃xff0c;会因为占用了一部分线程&＃xff08;或者说CPU资源&＃xff09;而导致应用程序变慢&＃xff0c;总吞吐量会降低。CMS默认启动的回收线程数是&＃xff08;CPU数量&＃43;3&＃xff09;/4。
调优&＃xff1a;可能是并发线程数设置太高&＃xff0c;适当调低该值。
// CMS并发线程数
以上的调优只是针对一些可能性较大的问题给的建议&＃xff0c;具体还是需要结合场景和完整的JVM参数去分析&＃xff0c;各个参数可能都会影响到整体的GC效率。
5、Final Remark 阶段为什么还需要遍历 GCRoots&＃xff1f; 这是因为 CMS 的写屏障&＃xff08;write barrier&＃xff09;并不是对所有会导致引用变化的字节码生效&＃xff0c;例如不支持astore_X&＃xff08;把栈顶的值存到本地变量表&＃xff09;。
至于为什么不为astore_X添加写屏障&＃xff0c;R 大认为是栈和年轻代属于数据快速变化的区域&＃xff0c;对于这些区域使用写屏障的收益比较差。
6、Final Remark 阶段还需要遍历 GC Roots&＃xff0c;那之前的标记工作不是白做了&＃xff1f; 不是的。
在三色标记法中&＃xff08;见下面介绍&＃xff09;&＃xff0c;如果扫描到被标记为黑色的对象就会终止&＃xff0c;而之前的并发标记和预处理已经完成了绝大部分对象的标记&＃xff0c;也就是此时大部分对象已经是黑色了&＃xff0c;因此 Final Remark 阶段的工作其实会减少很多。简单来说就是&＃xff1a;遍历的广度不变&＃xff0c;但是深度变浅了。
7、三色标记算法&＃xff1f; 三色标记算法由 Edsger W. Dijkstra 等人在1978年提出&＃xff0c;是一种增量式垃圾回收算法&＃xff0c;增量式的意思是慢慢发生变化的意思&＃xff0c;也就是 GC 和 mutator&＃xff08;应用程序&＃xff09;一点点交替运行的手法。
与其相反的则是停止型GC&＃xff0c;也就是GC时&＃xff0c;mutator 完全停止&＃xff0c;GC结束再恢复运行。
三色标记算法顾名思义就是将 GC 中的对象分为三种颜色&＃xff0c;这三种颜色和所包含的意思如下&＃xff1a;
白色&＃xff1a;还未搜索过的对象。在回收周期的开始阶段&＃xff0c;所有对象都为白色&＃xff0c;而在回收周期结束时&＃xff0c;所有白色对象均为不可达对象&＃xff0c;也就是要回收的对象。
灰色&＃xff1a;正在搜索的对象。已经被搜索过的对象&＃xff0c;但是该对象引用的对象还未被全部搜索完毕。
黑色&＃xff1a;搜索完成的对象。本身及其引用的所有对象都被搜索过&＃xff0c;黑色对象不会指向白色对象&＃xff0c;同时黑色对象不会被重新搜索&＃xff0c;除非颜色发生变化。
我们以 GC 标记-清除算法为例简单的说明一下。
GC 开始运行前所有的对象都是白色。GC 一开始运行&＃xff0c;所有从根能到达的对象都会被标记为灰色&＃xff0c;然后被放到栈里。GC 只是发现了这样的对象&＃xff0c;但还没有搜索完它们&＃xff0c;所以这些对象就成了灰色对象。
灰色对象会被依次从栈中取出&＃xff0c;其子对象也会被涂成灰色。当其所有的子对象都被涂成灰色时&＃xff0c;该对象就会被涂成黑色。当 GC 结束时已经不存在灰色对象了&＃xff0c;活动对象全部为黑色&＃xff0c;垃圾则为白色。
下面是一个三色标记算法的示例动图&＃xff0c;大家参考着理解。
明白了三色标记算法后&＃xff0c;再回过头去看第5题&＃xff0c;是不是顿时就明白了。
8、三色标记算法存在的问题&＃xff1f; 三色标记算法是增量式垃圾回收算法&＃xff0c;mutator可能会随时改变对象引用关系&＃xff0c;因此在并发下会存在漏标和错标&＃xff08;多标&＃xff09;。
1&＃xff09;漏标
直接通过一个简单的例子来看&＃xff1a;
假设当GC线程执行到时刻1时&＃xff0c;此时应用线程先执行了步骤1和2&＃xff0c;也就是到了时刻3的场景&＃xff0c;GC线程继续执行。
此时对象Z只被黑色对象X所引用&＃xff0c;而黑色对象是不会被继续扫描的&＃xff0c;因此扫描结束后Z仍然是白色对象&＃xff0c;也就是时刻4&＃xff0c;此时白色对象Z则会被当做垃圾而回收。
2&＃xff09;错标&＃xff08;多标&＃xff09;
直接通过一个简单的例子来看&＃xff1a;
假设当GC线程执行到时刻1时&＃xff0c;此时应用线程先执行了步骤1&＃xff0c;也就是到了时刻2的场景&＃xff0c;GC线程继续执行。
此时对象Z是灰色对象&＃xff0c;GC线程对其进行搜索&＃xff0c;搜索结束后将其标记为黑色&＃xff0c;也就是时刻3&＃xff0c;此时对象Z其实没有到GC Roots的引用&＃xff0c;理应被回收&＃xff0c;但是因为被错误的标记为黑色&＃xff0c;而在本次GC中存活了下来。
错标和漏标都是三色标记算法存在的问题&＃xff0c;但是两者带来的后果有本质的不同。
错标使得死亡的对象被当做存活&＃xff0c;导致出现浮动垃圾&＃xff0c;此时不影响程序的正确性&＃xff0c;这些对象下次GC时回收就可以了。
漏标使得存活的对象被当做死亡&＃xff0c;这个会导致程序出错&＃xff0c;带来不可预知的后果&＃xff0c;这个是不能接受的&＃xff0c;因此漏标是三色标记算法需要解决的问题。
通过实验追踪&＃xff0c;Wilson 发现&＃xff0c;只有当以下两个条件同时满足时才会出现漏标问题&＃xff1a;
1&＃xff09;将某一指向白色对象的引用写入黑色对象
2&＃xff09;从灰色对象出发&＃xff0c;最终到达该白色对象的所有路径都被破坏
9、增量更新和起始快照 为了解决三色标记算法的漏标问题&＃xff0c;产生了两种比较著名的解决方案&＃xff1a;增量更新和起始快照&＃xff0c;CMS 和 G1 就是采用了这两种解决方案&＃xff0c;CMS 使用的增量更新&＃xff0c;G1使用的起始快照。
漏标问题的出现必须同时满足上述的两个条件&＃xff0c;因此解决办法只需破坏两个条件之一即可。
1&＃xff09;增量更新 &＃xff08;Incremental update&＃xff09;****
使用写屏障&＃xff08;write barrier&＃xff09;拦截所有新插入的引用关系&＃xff0c;将其记录下来&＃xff0c;最后以这些引用关系的源头作为根&＃xff0c;重新扫描一遍即可解决漏标问题。
增量更新破坏的是条件1&＃xff0c;当插入黑色对象到白色对象的引用时&＃xff0c;写屏障会记录下该引用&＃xff0c;后续重新扫描。
以上面的漏标为例&＃xff0c;就是拦截步骤1&＃xff1a;X.b&＃61;Y.a&＃xff0c;记录下X&＃xff0c;然后重新扫描对象X。
2&＃xff09;起始快照 &＃xff08;SATB&＃xff0c;snapshot at the begin&＃xff09;****
使用写屏障拦截所有删除的引用关系&＃xff0c;将其记录下来&＃xff0c;然后将被删除的引用关系所指向的对象会被当作存活对象&＃xff08;非白色&＃xff09;&＃xff0c;重新扫描该对象。
SATB 抽象的说就是在一次GC开始时刻是存活的对象&＃xff0c;则在本次GC中都会被当做存活对象&＃xff0c;此时的对象形成一个逻辑“快照”&＃xff0c;这也是起始快照名字的由来。
起始快照破坏的是条件2&＃xff0c;当到白色对象的引用断开时&＃xff0c;写屏障会记录下该引用&＃xff0c;将该对象当作存活对象&＃xff0c;后续继续扫描该对象的引用。
以上面的漏标为例&＃xff0c;就是拦截步骤2&＃xff1a;Y.a&＃61;null&＃xff0c;将Z作为存活对象&＃xff0c;然后重新扫描对象Z。
10、CMS中的 Final Remark&＃xff08;重新标记&＃xff09;阶段较慢&＃xff0c;怎么分析和解决&＃xff1f; CMS 的整个垃圾回收过程中只有2个阶段是 stop the world&＃xff0c;一个是初始标记&＃xff0c;一个是重新标记&＃xff0c;初始标记只标记GC Roots直达的对象&＃xff0c;因此一般不会耗时太久&＃xff0c;而重新标记出现耗时久的现象则比较多见&＃xff0c;通常如果CMS GC较慢&＃xff0c;大多都是重新标记阶段较慢导致的。
Final Remark 阶段比较慢&＃xff0c;比较常见的原因是在并发处理阶段引用关系变化很频繁&＃xff0c;导致 dirty card 很多、年轻代对象很多。
比较常见的做法可以在 Final Remark 阶段前进行一次 YGC&＃xff0c;这样年轻代的剩余待标记对象会下降很多&＃xff0c;被视为GC Root 的对象数量骤减&＃xff0c;Final Remark的工作量就少了很多。
// 在remark之前尝试进行清理&＃xff0c;默认值为false
通常增加 -XX:&＃43;CMSScavengeBeforeRemark 都能解决问题&＃xff0c;但是如果优化后还是耗时严重&＃xff0c;则需要进一步看具体是哪个小阶段耗时严重。
Final Remark 具体包含了若干个小阶段&＃xff1a;weak refs processing、class unloading、scrub string table等&＃xff0c;从日志里可以看出来每个小阶段的耗时&＃xff0c;根据耗时的阶段再进行针对性的分析&＃xff0c;可以查阅源码或者查阅相关资料来帮助分析。
以比较常见的 weak refs processing 为例&＃xff1a;
这边的weak refs 不是单指 WeakReference&＃xff0c;而是包括了&＃xff1a;SoftReference、WeakReference、FinalReference、PhantomReference、JNI Weak Reference&＃xff0c;这边应该是除了强引用外的所有引用都被归类为 weak 了。
因此&＃xff0c;我们首先添加以下配置&＃xff0c;打印出GC期间引用相关更详细的日志。
// 打印GC的详细信息
然后根据每个引用的耗时&＃xff0c;定位出耗时严重的引用类型&＃xff0c;然后查看项目中是否存在对该引用类型不合理的使用。
另外一种比较简单粗暴的办法是可以通过增加引用的并行处理来尝试解决&＃xff0c;通常会有不错的效果。
?//?启用并行引用处理&＃xff0c;默认值为false
而如果是 scrub string table 阶段耗时&＃xff0c;则可以分析项目中是否存在不合理的使用 interned string&＃xff0c;其他的也类似。
最后 我是囧辉&＃xff0c;一个坚持分享原创技术干货的程序员 。
推荐阅读 Java 基础高频面试题&＃xff08;2021年最新版&＃xff09;
Java 集合框架高频面试题&＃xff08;2021年最新版&＃xff09;
面试必问的 Spring&＃xff0c;你懂了吗&＃xff1f;
面试必问的 MySQL&＃xff0c;你懂了吗&＃xff1f;
京公网安备 11010802041100号