数仓面试，数据分析中异常值检测算法？

01

—

距离识别:

最常用的就是欧式距离，
比如：两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧氏距离：

可以直观感受的到，图中，距离蓝色B点距离为基准衡量的话，红色A1，红色A2，红色A3为距离较近点，A4为距离较远的异常点。

但是这样看问题会有一个隐患，我们犯了“就点论点”的错误没有考虑到全局的问题，让我在看下面这张图：

还是刚才那张图，橙色背景为原始数据集分布，这样看来A4的位置反而比A1、A3相对更靠近基准点B，所以在存在纲量不一致且数据分布异常的情况下，可以使用马氏距离代替欧式距离判断数据是否离群。

其中，μ
为feature的均值，X
为观察值，Σ
为feature的协方差矩阵
马氏距离除了用来判断点是否异常，也可以用来判断两个数据集相识度，在图像识别，反欺诈识别中应用的也是非常普遍；问题在于太过于依赖Σ
，不同的base case对应的Σ
都是不一致的，不是很稳定

03

—

K均值聚类:

K均值聚类算法的思路非常通俗易懂，就是不断地计算各样本点与簇中心之间的距离，直到收敛为止，其具体的步骤如下：

（1）从数据中随机挑选k个样本点作为原始的簇中心。

（2）计算剩余样本与簇中心的距离，并把各样本标记为离k个簇中心最近的类别。

（3）重新计算各簇中样本点的均值，并以均值作为新的k个簇中心。

（4）不断重复（2）和（3），直到簇中心的变化趋于稳定，形成最终的k个簇。

       如上图所示，图中蓝色和红色之间形成鲜明的簇，其中每个簇内包含5000个数据。如果数据中存在异常点，目测蓝色的簇可能会包含更多异常，因为数据点相对分散一些。