【JVM技术专题】深入分析CG管理和原理查缺补漏「番外篇」

本文主要针对 Hotspot VM 中“CMS &＃43; ParNew” 组合的一些使用场景进行总结。

自 Sun 发布 Java 语言以来&＃xff0c;开始使用GC技术来进行内存自动管理&＃xff0c;避免了手动管理带来的悬挂指针&＃xff08;Dangling Pointer&＃xff09;问题&＃xff0c;很大程度上提升了开发效率&＃xff0c;从此 GC 技术也一举成名。

GC 有着非常悠久的历史&＃xff0c;1960 年有着“Lisp 之父”和“人工智能之父”之称的 John McCarthy 就在论文中发布了 GC 算法&＃xff0c;60 年以来&＃xff0c; GC 技术的发展也突飞猛进&＃xff0c;但不管是多么前沿的收集器也都是基于三种基本算法的组合或应用&＃xff0c;也就是说 GC 要解决的根本问题这么多年一直都没有变过。

RT 突然上涨&＃xff0c;有 GC 耗时增大、线程 Block 增多、慢查询增多、CPU 负载高四个表象&＃xff0c;到底哪个是诱因&＃xff1f;如何判断 GC 有没有问题&＃xff1f;使用 CMS 有哪些常见问题&＃xff1f;如何判断根因是什么&＃xff1f;如何解决或避免这些问题&＃xff1f;

• 建立知识体系&＃xff1a; JVM的内存布局、对象内存结构&＃xff0c;垃圾收集的算法和收集器特点&＃xff0c;学习GC的基础知识。
• 确定评价指标&＃xff1a; 了解基本GC的评价方法&＃xff0c;摸清如何设定独立系统的指标&＃xff0c;以及在业务场景中判断 GC 是否存在问题的手段。
• 场景调优实践&＃xff1a; 运用掌握的知识和系统评价指标&＃xff0c;分析与解决九种 CMS 中常见 GC 问题场景。
• 总结优化经验&＃xff1a;掌握一些常用的 GC 问题分析工具&＃xff0c;有着相关的JVM的回收机制功能实现。

基础概念

GC&＃xff1a; GC本身有三种语义&＃xff0c;下文需要根据具体场景带入不同的语义&＃xff1a;

• Garbage Collection &＃xff1a;垃圾收集技术&＃xff0c;名词。
• Garbage Collector &＃xff1a;垃圾收集器&＃xff0c;名词。
• Garbage Collecting &＃xff1a;垃圾收集动作&＃xff0c;动词。

Mutator&＃xff1a; 生产垃圾的角色&＃xff0c;也就是我们的应用程序&＃xff0c;垃圾制造者&＃xff0c;通过 Allocator 进行 allocate 和 free。

TLAB&＃xff1a;
Thread Local Allocation Buffer 的简写&＃xff0c;基于CAS 的独享线程&＃xff08;Mutator Threads&＃xff09;可以优先将对象分配在 Eden 中的一块内存&＃xff0c;因为是 Java 线程独享的内存区没有锁竞争&＃xff0c;所以分配速度更快&＃xff0c;每个 TLAB 都是一个线程独享的。

Card Table&＃xff1a; 中文翻译为卡表&＃xff0c;主要是用来标记卡页的状态&＃xff0c;每个卡表项对应一个卡页。当卡页中一个对象引用有写操作时&＃xff0c;写屏障将会标记对象所在的卡表状态改为 dirty&＃xff0c;卡表的本质是用来解决跨代引用的问题。

从JCP&＃xff08;Java Community Process&＃xff09;的官网中可以看到&＃xff0c;目前 Java 版本最新已经到了 Java 16&＃xff0c;未来的 Java 17 以及现在的 Java 11 和 Java 8 是 LTS 版本&＃xff0c;JVM规范也在随着迭代在变更&＃xff0c;由于本文主要讨论 CMS&＃xff0c;此处还是放 Java 8 的内存结构。

GC 主要工作在 Heap 区和 MetaSpace 区&＃xff08;上图蓝色部分&＃xff09;&＃xff0c;在 Direct Memory 中&＃xff0c;如果使用的是 DirectByteBuffer&＃xff0c;那么在分配内存不够时则是 GC 通过 Cleaner#clean 间接管理。&＃xff08;因为虽然内存分配和回收不归JVM直接管理&＃xff0c;但是引用还存放在JVM的heap中可以间接通过引用清除内存对象&＃xff09;

任何自动内存管理系统都会面临的步骤&＃xff1a;为新对象分配空间&＃xff0c;然后收集垃圾对象空间&＃xff0c;下面我们就展开介绍一下这些基础知识。

分配对象

Java中对象地址操作主要使用Unsafe调用了 C 的 allocate 和 free 两个方法&＃xff0c;分配方法有两种&＃xff1a;


• 空闲链表&＃xff08;free list&＃xff09;: 通过额外的存储记录空闲的地址&＃xff0c;将随机 IO 变为顺序 IO&＃xff0c;但带来了额外的空间消耗&＃xff0c;此外还要增加O(1)级别的寻址时间。
• 碰撞指针&＃xff08;bump pointer&＃xff09;: 通过一个指针作为分界点&＃xff0c;需要分配内存时&＃xff0c;仅需把指针往空闲的一端移动与对象大小相等的距离&＃xff0c;分配效率较高&＃xff0c;但使用场景有限。&＃xff08;必须规整的内存分配机制&＃xff09;

识别垃圾

引用计数法&＃xff08;Reference Counting&＃xff09;&＃xff1a; 对每个对象的引用进行计数&＃xff0c;每当有一个地方引用它时计数器 &＃43;1、引用失效则 -1&＃xff0c;引用的计数放到对象头中&＃xff0c;大于 0 的对象被认为是存活对象。虽然循环引用的问题可通过 Recycler 算法解决&＃xff0c;但是在多线程环境下&＃xff0c;引用计数变更也要进行昂贵的同步操作&＃xff0c;性能较低&＃xff0c;早期的编程语言会采用此算法。

可达性分析&＃xff0c;又称引用链法&＃xff08;Tracing GC&＃xff09;&＃xff1a; 从 GC Root 开始进行对象搜索&＃xff0c;可以被搜索到的对象即为可达对象&＃xff0c;此时还不足以判断对象是否存活/死亡&＃xff0c;需要经过多次标记才能更加准确地确定&＃xff0c;整个连通图之外的对象便可以作为垃圾被回收掉。目前 Java 中主流的虚拟机均采用此算法。

收集算法

自从有自动内存管理出现之时就有的一些收集算法&＃xff0c;不同的收集器也是在不同场景下进行组合。

• Mark-Sweep&＃xff08;标记-清除&＃xff09;&＃xff1a; 回收过程主要分为两个阶段&＃xff0c;第一阶段为追踪&＃xff08;Tracing&＃xff09;阶段&＃xff0c;即从 GC Root 开始遍历对象图&＃xff0c;并标记&＃xff08;Mark&＃xff09;所遇到的每个对象&＃xff0c;第二阶段为清除&＃xff08;Sweep&＃xff09;阶段&＃xff0c;即回收器检查堆中每一个对象&＃xff0c;并将所有未被标记的对象进行回收&＃xff0c;整个过程不会发生对象移动。整个算法在不同的实现中会使用三色抽象&＃xff08;Tricolour Abstraction&＃xff09;、位图标记&＃xff08;BitMap&＃xff09;等技术来提高算法的效率&＃xff0c;存活对象较多时较高效。

• Mark-Compact &＃xff08;标记-整理&＃xff09;&＃xff1a; 这个算法的主要目的就是解决在非移动式回收器中都会存在的碎片化问题&＃xff0c;也分为两个阶段&＃xff0c;第一阶段与 Mark-Sweep 类似&＃xff0c;第二阶段则会对存活对象按照整理顺序&＃xff08;Compaction Order&＃xff09;进行整理。主要实现有双指针&＃xff08;Two-Finger&＃xff09;回收算法、滑动回收&＃xff08;Lisp2&＃xff09;算法和引线整理&＃xff08;Threaded Compaction&＃xff09;算法等。

• Copying&＃xff08;复制&＃xff09;&＃xff1a; 将空间分为两个大小相同的 From 和 To 两个半区&＃xff0c;同一时间只会使用其中一个&＃xff0c;每次进行回收时将一个半区的存活对象通过复制的方式转移到另一个半区。有递归&＃xff08;Robert R. Fenichel 和 Jerome C. Yochelson 提出&＃xff09;和迭代&＃xff08;Cheney 提出&＃xff09;算法&＃xff0c;以及解决了前两者递归栈、缓存行等问题的近似优先搜索算法。复制算法可以通过碰撞指针的方式进行快速地分配内存&＃xff0c;但是也存在着空间利用率不高的缺点&＃xff0c;另外就是存活对象比较大时复制的成本比较高。

把mark、sweep、compaction、copying这几种动作的耗时放在一起看&＃xff0c;大致有这样的关系&＃xff1a;

虽然 compaction 与 copying 都涉及移动对象&＃xff0c;但取决于具体算法&＃xff0c;compaction 可能要先计算一次对象的目标地址&＃xff0c;然后修正指针&＃xff0c;最后再移动对象。copying 则可以把这几件事情合为一体来做&＃xff0c;所以可以快一些。另外&＃xff0c;还需要留意 GC 带来的开销不能只看 Collector 的耗时&＃xff0c;还得看 Allocator。

如果能保证内存没碎片&＃xff0c;分配就可以用 pointer bumping 方式&＃xff0c;只需要挪一个指针就完成了分配&＃xff0c;非常快。而如果内存有碎片就得用 freelist 之类的方式管理&＃xff0c;分配速度通常会慢一些。

分代收集器

• ParNew&＃xff1a;一款多线程的收集器&＃xff0c;采用复制算法&＃xff0c;主要工作在 Young 区&＃xff0c;可以通过-XX:ParallelGCThreads 参数来控制收集的线程数&＃xff0c;整个过程都是STW的&＃xff0c;常与CMS组合使用。
• CMS&＃xff1a; 以获取最短回收停顿时间为目标&＃xff0c;采用“标记-清除”算法&＃xff0c;分 4 大步进行垃圾收集&＃xff0c;其中初始标记和重新标记会 STW &＃xff0c;多数应用于互联网站或者 B/S 系统的服务器端上&＃xff0c;JDK9 被标记弃用&＃xff0c;JDK14 被删除&＃xff0c;详情可见 JEP 363。&＃xff08;性能和响应时间为优先&＃xff09;

分区收集器

• G1&＃xff1a;一种服务器端的垃圾收集器&＃xff0c;应用在多处理器和大容量内存环境中&＃xff0c;在实现高吞吐量的同时&＃xff0c;尽可能地满足垃圾收集暂停时间的要求。
• ZGC&＃xff1a; JDK11 中推出的一款低延迟垃圾回收器&＃xff0c;适用于大内存低延迟服务的内存管理和回收&＃xff0c;SPECjbb 2015 基准测试&＃xff0c;在 128G 的大堆下&＃xff0c;最大停顿时间才 1.68 ms&＃xff0c;停顿时间远胜于 G1 和 CMS。
• Shenandoah&＃xff1a; 由 Red Hat 的一个团队负责开发&＃xff0c;与 G1 类似&＃xff0c;基于 Region 设计的垃圾收集器&＃xff0c;但不需要 Remember Set 或者 Card Table 来记录跨 Region 引用&＃xff0c;停顿时间和堆的大小没有任何关系。停顿时间与 ZGC 接近。

常用收集器

目前使用最多的是 CMS 和 G1 收集器&＃xff0c;二者都有分代的概念&＃xff0c;主要内存结构如下&＃xff1a;

其他收集器

除此之外还有很多收集器&＃xff0c;如 Metronome、Stopless、Staccato、Chicken、Clover 等实时回收器&＃xff0c;Sapphire、Compressor、Pauseless 等并发复制/整理回收器&＃xff0c;Doligez-Leroy-Conthier 等标记整理回收器。

GC的两个核心指标

• 延迟&＃xff08;Latency&＃xff09;&＃xff1a; 也可以理解为最大停顿时间&＃xff0c;即垃圾收集过程中一次 STW 的最长时间&＃xff0c;越短越好&＃xff0c;一定程度上可以接受频次的增大&＃xff0c;GC 技术的主要发展方向。
• 吞吐量&＃xff08;Throughput&＃xff09;&＃xff1a; 应用系统的生命周期内&＃xff0c;由于 GC 线程会占用 Mutator 当前可用的 CPU 时钟周期&＃xff0c;吞吐量即为 Mutator 有效花费的时间占系统总运行时间的百分比&＃xff0c;例如系统运行了 100 min&＃xff0c;GC 耗时 1 min&＃xff0c;则系统吞吐量为 99%&＃xff0c;吞吐量优先的收集器可以接受较长的停顿。

目前各大互联网公司的系统基本都更追求低延时&＃xff0c;避免一次 GC 停顿的时间过长对用户体验造成损失&＃xff0c;衡量指标需要结合一下应用服务的 SLA&＃xff0c;主要如下两点来判断&＃xff1a;

简而言之&＃xff0c;即为 一次停顿的时间不超过应用服务的 TP9999&＃xff0c;GC 的吞吐量不小于 99.99% 。举个例子&＃xff0c;假设某个服务 A 的 TP9999 为 80 ms&＃xff0c;平均GC停顿为30ms&＃xff0c;那么该服务的最大停顿时间最好不要超过 80 ms&＃xff0c;GC 频次控制在 5 min 以上一次。

如果满足不了&＃xff0c;那就需要调优或者通过更多资源来进行并联冗余。&＃xff08;大家可以先停下来&＃xff0c;看看监控平台上面的 gc.meantime分钟级别指标&＃xff0c;如果超过了 6 ms 那单机 GC 吞吐量就达不到4个9了。&＃xff09;

备注&＃xff1a;除了这两个指标之外还有 Footprint&＃xff08;资源量大小测量&＃xff09;、反应速度等指标&＃xff0c;互联网这种实时系统追求低延迟&＃xff0c;而很多嵌入式系统则追求 Footprint。

重点需要关注的几个 GC Cause&＃xff1a;

• System.gc()&＃xff1a; 手动触发 GC 操作。
• CMS&＃xff1a; CMS GC 在执行过程中的一些动作&＃xff0c;重点关注 CMS Initial Mark 和 CMS Final Remark 两个 STW 阶段。
• Promotion Failure&＃xff1a; Old 区没有足够的空间分配给 Young 区晋升的对象&＃xff08;即使总可用内存足够大&＃xff09;。
• Concurrent Mode Failure&＃xff1a; CMS GC 运行期间&＃xff0c;Old 区预留的空间不足以分配给新的对象&＃xff0c;此时收集器会发生退化&＃xff0c;严重影响 GC 性能&＃xff0c;下面的一个案例即为这种场景。
• GCLocker Initiated GC&＃xff1a; 如果线程执行在 JNI 临界区时&＃xff0c;刚好需要进行 GC&＃xff0c;此时 GC Locker 将会阻止 GC 的发生&＃xff0c;同时阻止其他线程进入 JNI 临界区&＃xff0c;直到最后一个线程退出临界区时触发一次 GC。