机器学习与数据挖掘：基于Filter的特征选择——聚焦法

聚焦法作为一种基于穷尽搜索的Filter型特征选择技术，旨在识别能够最有效地区分样本的最小特征集合。该方法的主要评估指标为一致性测量，即当两个样本在某一特征子集上的所有特征值相同但属于不同的类别时，该特征子集则被认为不具备区分能力，不应被选中。

聚焦法的执行流程如下图所示（图源需替换）：


从流程中可以看出，聚焦法的停止条件是：当不存在两个实例在选定的特征集合A的所有特征上完全相同但不属于同一类别时，A即被视为最终选出的特征集合。值得注意的是，聚焦法对数据中的噪声非常敏感。此外，由于特征选择过程与最终的分类算法相互独立，这可能导致方法过于追求特征数量的最小化，而忽略了特征组合对分类效果的影响，进而可能降低最终的分类准确性。

参考文献：
- Hussein Almuallim 和 Thomas G. Dietterich. Learning with Many Irrelevant Features.