专家知识在AIOPS中的作用

ORA-603这个ORACLE的错误号，其可能的问题根因有几十个，老白这张图中仅仅是列出了其中的一部分。我让他们评估一下训练这个模型大概要花多少钱。他比较实在，直接说这种模型训练不出来。不过随后又说，日志监测不是这么做的，不是通过单一的错误日志去分析问题，是通过一定时期内的长时间的日志的学习，来形成异常检测的算法的。因为系统中99%以上的时间里系统都是正常的，只有不到1%的日志状态是异常的。所以只要有足够的标注，就能够形成有效的模型。我又问他大概需要标注多少样本才能达到他所说的目标，开始他说大约几千，我就给他算了笔帐，就按1000算吧，如果一个客户每10天出一次故障，大约一年可以获得40个样本，他所需要的样本需要积累25年。对于10天出一次故障的运维单位，它的领导恐怕早就干不下去了吧。算了这笔账后他说日志异常检测不是这么做的，不是通过单一运维对象的日志去做分析，而是通过综合的日志序列，进行综合性的计算，从而形成模型，用于预测。

这似乎有点道理，不过问题又来了，通过综合性的日志分析，形成异常发现后，我们如何去确认这个问题发现是否准确呢？如何进一步定位问题出在哪里呢？他十分自信的说，哪个服务宕机了，哪个数据库无法访问了，可以很快就定位了啊。我总觉得这句话有点问题，哪个数据库无法访问，哪台服务器宕机了，用传统的方法不是很容易就发现了吗？还需要这么兴师动众的用AIOPS的算法来解决呢？

实际上，老白是在和他开玩笑。通过日志的综合分析进行故障预测与故障定位是肯定有一定的效果的，但是这里有一个十分重要的要素，就是必须有专家的参与，否则只能是一个实验室里的玩具，无法真正的成为生产力。当异常检测发现了疑点，需要有专家来进行确认，对发现进行标注，形成有效的训练样本，这种样本只有积累到一定的数量，才能训练出有效的模型。对于某一个企业来说，要积累足够的样本是十分困难的，最好的模式是能够建立一个行业案例库和公共案例库，跨企业，跨行业积累相关的样本，这样才有可能加快这个过程。

ALPHAGO的成功是在上千年人类对围棋理论和棋谱的积累的基础上的，所以能够在数年时间里完成对人类高手的碾压。AIOPS要想碾压人类的专家，也必然要经历这个过程。仅仅是一批软件看法和算法的高手要构建出一个能够超越人类专家的AIOPS系统，还是任重道远的。只有越来越多的人能够像老白一样来梳理十年二十年来的运维经验，并把这些经验分享出来，才能够缩短人工智能的成长时间，更快的让AIOPS产生真正的实战效用。在这个新春即将来临的时刻，写这段文字与从事AIOPS的朋友们共勉。