Linux下杀毒软件CPU占用率为何持续升高？

作者 | beyondma  责编 | 张文

来源 | CSDN 博客

头图 | CSDN 下载自视觉中国

最近笔者遇到这样一个相对比较疑难的事件&＃xff0c;某个在 Linux 下运行的杀毒软件启动后&＃xff0c;在某些情况下 CPU 占用率会持续升高&＃xff0c;而且在交易量较高的情况下极易复现。而奇怪的是&＃xff0c;我们之前已经对于杀毒软件的 CPU 使用率进行了上限限定。出现这样异常事件表明&＃xff1a;杀毒软件并没有执行之前设定的资源占用控制策略&＃xff0c;CPU 使用率始终持续异常偏高。

分析下来这个事件还是很有借鉴意义的。

由于此事件涉及一些敏感信息&＃xff0c;具体不便公开的细节就不透露了&＃xff0c;仅把可以公开的情况梳理一下&＃xff0c;供各位读者参考。

首先我们先明确一下钩子&＃xff08;hook&＃xff09;函数的概念&＃xff0c;简单来讲这就是一类改变其它函数行为的函数。举个简单的例子&＃xff0c;我每次进入会议室的时候都是直接推开门然后进入的&＃xff0c;但是现在我在进入门之前要先向向会议室主持人申请&＃xff0c;得到许可才能进入&＃xff0c;那么向主持人申请的动作就被 attatch 到了进入会议室这个动作上了&＃xff0c;整个过程就可以简单的理解为 hook。

我们知道在 Linux 下想改变系统的行为&＃xff0c;需要代码运行的内核态。比如 kprobe、fsnotify 等机制&＃xff0c;提供了 root 用户 hook 到内核代码的权限&＃xff0c;并最终将自己的代码段 attach 到内核调用中。

CPU 使用率过高的原因分析

经确认这款杀毒软件的 CPU 占用率控制模型如下图&＃xff0c;其守护模块会定时判断 agent 资源使用情况&＃xff0c;如果超标则将释放扫描模块使用的 CPU 与内存资源。

但是具体分析下来&＃xff0c;这样的机制在 IO 频繁的系统上存在缺陷&＃xff0c;具体原因扫描模块在内核态下执行时下无法释放 CPU 资源。

分析过程如下&＃xff1a;

经确认杀毒软件 agent 在行为监测时&＃xff0c;在进程将文件加载到内存前&＃xff0c;会使用 hook 技术对于 open 等系统调用进行 attach&＃xff0c;确定加载的文件不含恶意代码后&＃xff0c;才允许进程加载该文件。因此在 Linux 内核找到系统调用的 attatch 机制的相关代码进行分析。

1. 系统调用中 sys_open 函数&＃xff0c;使用 fsnotify 机制对于 attach 注入到 sys_open 函数的进程进行回调通知。(具体代码位置在 kernel/open.c&＃xff09;

2. attach 到 sys_open 的代码执行过程始终是处于内核态中的&＃xff0c;同时 Linux 的 fsnotify 机制也会加内核锁&＃xff0c;在内核锁解锁前该进程无法释放 CPU&＃xff0c;不能被打断。(具体代码位置在 kernel/fsnotify.c&＃xff09;

杀毒软件扫描模块 attach 内核函数的机制与 fsnotify 类似&＃xff0c;因此其扫描模块在进行行为检测时会在内核态执行且不能被打断&＃xff0c;而在系统中原本就有大量 IO 操作的情况下&＃xff0c;守护模块将失效。

在 POC 测试时&＃xff0c;该杀毒软件在文件扫描时其 CPU 占用率始终不高&＃xff0c;这其中的原因是由于在扫描文件时该杀毒软件全部运行于用户态下&＃xff0c;不存在内核态运行的情况&＃xff0c;因此守护模块可正常调节 CPU 使用情况。

解决方案浅析

先说一下实测结论&＃xff1a;在加入 attach 延时操作后&＃xff0c;IO 吞吐量巨幅下降。经访照该杀毒软件的机制进行实测模拟&＃xff0c;在内核 sys_open 函数 attach 加入延时操作&＃xff0c;观察对于系统 IO 的影响。

在加入将内核 sys_open 延时一倍的操作后&＃xff0c;我在华为的在鲲鹏 4C/8G 的平台实测上&＃xff0c;每秒钟文件打开、关闭文件操作的次数&＃xff0c;由每秒 867次 的峰值下降到了 72 次&＃xff0c;出现了 90%以上的下降。这可能与内核锁的雪崩效应有关。

经确认&＃xff0c;在之前的版本之所以没有出现问题&＃xff0c;是由于当守护进程在确认 CPU 调节失效后会对自身 agent 进行整体自毁操作&＃xff08;modelu_exit)&＃xff0c;因此不会触发类似于 CPU 占用率持续升高的案例。

那么针对这样的机制具体的解决方案如下&＃xff1a;

1. 对于内核态代码执行&＃xff0c;加入全局并发数限制&＃xff0c;对于所有执行在内核态的扫描线程&＃xff0c;进行全局并发锁限制&＃xff0c;具体并发数的设置还需要进行进一步测试后得出结果&＃xff0c;在鲲鹏 4C/8G 的平台上测试最大并发数设置为 4 基本不会对系统正常调用产生影响&＃xff0c;建议先将系统 CPU 个数设定为最大并发数&＃xff0c;进行测试。

2. 对于对于内核态代码执行加入每秒执行次数限制&＃xff0c;对于所有执行在内核态的扫描线程&＃xff0c;进行全局的执行次数限制&＃xff0c;加入执行令牌&＃xff0c;每秒执行次数不应该大于最大 IO 数量的 10%&＃xff0c;在此方案下也可避免对于系统正常调用的影响。

3. 加入扫描任务调度机制&＃xff1a;避免在内核态执行耗时的扫描任务&＃xff0c;只是快速收到系统的 open 调用指令后&＃xff0c;将相关的扫描任务加入调试队列&＃xff0c;就立刻返回&＃xff0c;在用户态统一执行扫描任务&＃xff0c;也可避免由于代码长时间运行于内核态造成的问题。

声明&＃xff1a;本文为作者独立观点&＃xff0c;不代表 CSDN 立场。

☞程序员的反击&＃xff01;每天一个离职小技巧☞人均 11878 元&＃xff0c;2020 年研发岗年终奖最高&＃xff01;技术、产品岗均榜上有名☞被法拉第夸、狄更斯为她读诗、英王参加她的成人礼&＃xff0c;程序员祖师的人生有多传奇&＃xff1f;
☞程序员因拒绝带电脑回家被开除&＃xff0c;获赔 19.4 万元


点分享

点收藏

点点赞

点在看