结论:
经分析排查,本次 157 服务器 cpu 飙高问题,本质上是由于内存大量占用导致的 GC 进程较多,且垃圾对象久久无法清理回收掉
溯源分析得出,内存占用主要是服务器上存在大量的 kafka-producer-network-thread 线程对象,该对象是由订阅推送服务(SubscribeService)获取金十快讯数据的定时任务所创造的,该定时任务 30s 执行一次,在向 kafka 生产数据时每次都不合理地 new 了新的生产者对象(KafkaProducer),而每一个 KafkaProducer 在构造时底层都会默认创造一个 kafka-producer-network-thread 线程对象和一个缓冲池对象(RecordAccumulator),大量对象产生且 KafkaProducer 未执行 close 操作,导致对象没有及时释放,同时也造成了 RecordAccumulator 中数据积压
解决方案:调整获取金十快讯数据的定时任务中向 kafka 生产数据的逻辑,使用一个单例生产者生产数据
简单来说,不应该每次生产数据都去 new 一个 KafkaProducer ,使用一个 KafkaProducer 就可以,在使用一个的情况下,也不需要 close ;造成目前问题的情况是,每次都 new 了新的 KafkaProducer,且都没有 close,不过每次都 new KafkaProducer 本身就不合理
跟之前CPU经常报警的原因不一样。 另外,本次也已经把订阅服务的内存调大了一些,以防万一。