KNN分类算法原理代码解析

作者 | Charmve

来源 | 迈微AI研习社

k-最近邻算法是基于实例的学习方法中最基本的&＃xff0c;先介绍基x&＃96;于实例学习的相关概念。

基于实例的学习

已知一系列的训练样例&＃xff0c;很多学习方法为目标函数建立起明确的一般化描述&＃xff1b;但与此不同&＃xff0c;基于实例的学习方法只是简单地把训练样例存储起来。

从这些实例中泛化的工作被推迟到必须分类新的实例时。每当学习器遇到一个新的查询实例&＃xff0c;它分析这个新实例与以前存储的实例的关系&＃xff0c;并据此把一个目标函数值赋给新实例。

基于实例的方法可以为不同的待分类查询实例建立不同的目标函数逼近。事实上&＃xff0c;很多技术只建立目标函数的局部逼近&＃xff0c;将其应用于与新查询实例邻近的实例&＃xff0c;而从 不建立在整个实例空间上都表现良好的逼近。当目标函数很复杂&＃xff0c;但它可用不太复杂的局部逼近描述时&＃xff0c;这样做有显著的优势。

基于实例方法的不足

1. 分类新实例的开销可能很大。这是因为几乎所有的计算都发生在分类时&＃xff0c;而不是在第一次遇到训练样例时。所以&＃xff0c;如何有效地索引训练样例&＃xff0c;以减少查询时所需计算是一个重要的实践问题。

2. 当从存储器中检索相似的训练样例时&＃xff0c;它们一般考虑实例的所有属性。如果目标概念仅依赖于很多属性中的几个时&＃xff0c;那么真正最“相似”的实例之间很可能相距甚远。

k-最近邻算法

1. 算法概述

邻近算法&＃xff0c;或者说K最近邻(K-Nearest Neighbor,KNN)分类算法是数据挖掘分类技术中最简单的方法之一&＃xff0c;是著名的模式识别统计学方法&＃xff0c;在机器学习分类算法中占有相当大的地位。它是一个理论上比较成熟的方法。既是最简单的机器学习算法之一&＃xff0c;也是基于实例的学习方法中最基本的&＃xff0c;又是最好的文本分类算法之一。

所谓K最近邻&＃xff0c;就是k个最近的邻居的意思&＃xff0c;说的是每个样本都可以用它最接近的k个邻居来代表。Cover和Hart在1968年提出了最初的邻近算法。KNN是一种分类(classification)算法&＃xff0c;它输入基于实例的学习&＃xff08;instance-based learning&＃xff09;&＃xff0c;属于懒惰学习&＃xff08;lazy learning&＃xff09;即KNN没有显式的学习过程&＃xff0c;也就是说没有训练阶段&＃xff0c;数据集事先已有了分类和特征值&＃xff0c;待收到新样本后直接进行处理。与急切学习&＃xff08;eager learning&＃xff09;相对应。

2. 算法思想

KNN是通过测量不同特征值之间的距离进行分类。

思路是&＃xff1a;如果一个样本在特征空间中的k个最邻近的样本中的大多数属于某一个类别&＃xff0c;则该样本也划分为这个类别。KNN算法中&＃xff0c;所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

该算法假定所有的实例对应于N维欧式空间Ân中的点。通过计算一个点与其他所有点之间的距离&＃xff0c;取出与该点最近的K个点&＃xff0c;然后统计这K个点里面所属分类比例最大的&＃xff0c;则这个点属于该分类。

该算法涉及3个主要因素&＃xff1a;实例集、距离或相似的衡量、k的大小。

一个实例的最近邻是根据标准欧氏距离定义的。更精确地讲&＃xff0c;把任意的实例x表示为下面的特征向量&＃xff1a;

其中ar(x)表示实例x的第r个属性值。那么两个实例xi和xj间的距离定义为d(xi,xj)&＃xff0c;其中&＃xff1a;

3. 有关KNN算法的几点说明

1. 在最近邻学习中&＃xff0c;目标函数值可以为离散值也可以为实值。

2. 我们先考虑学习以下形式的离散目标函数。其中V是有限集合{v1,…,vs}。下表给出了逼近离散目标函数的k-近邻算法。

3. 正如下表中所指出的&＃xff0c;这个算法的返回值f′(xq)为对f(xq)的估计&＃xff0c;它就是距离xq最近的k个训练样例中最普遍的f值。

4. 如果我们选择k&＃61;1&＃xff0c;那么“1-近邻算法”就把f(xi)赋给(xq)&＃xff0c;其中xi是最靠近xq的训练实例。对于较大的k值&＃xff0c;这个算法返回前k个最靠近的训练实例中最普遍的f值。

逼近离散值函数f:Ân−V的k-近邻算法

• 训练算法&＃xff1a;
    对于每个训练样例&＃xff0c;把这个样例加入列表training_examples

• 分类算法&＃xff1a;
    给定一个要分类的查询实例xq 在training_examples中选出最靠近xq的k个实例&＃xff0c;并用x1,…,xk表示

• 返回

• 其中如果a&＃61;b那么d(a,b)&＃61;1&＃xff0c;否则d(a,b)&＃61;0

简单来说&＃xff0c;KNN可以看成&＃xff1a;有那么一堆你已经知道分类的数据&＃xff0c;然后当一个新数据进入的时候&＃xff0c;就开始跟训练数据里的每个点求距离&＃xff0c;然后挑离这个训练数据最近的K个点看看这几个点属于什么类型&＃xff0c;然后用少数服从多数的原则&＃xff0c;给新数据归类。

4. KNN算法的决策过程

下图中有两种类型的样本数据&＃xff0c;一类是蓝色的正方形&＃xff0c;另一类是红色的三角形&＃xff0c;中间那个绿色的圆形是待分类数据&＃xff1a;

如果K&＃61;3&＃xff0c;那么离绿色点最近的有2个红色的三角形和1个蓝色的正方形&＃xff0c;这三个点进行投票&＃xff0c;于是绿色的待分类点就属于红色的三角形。而如果K&＃61;5&＃xff0c;那么离绿色点最近的有2个红色的三角形和3个蓝色的正方形&＃xff0c;这五个点进行投票&＃xff0c;于是绿色的待分类点就属于蓝色的正方形。

下图则图解了一种简单情况下的k-最近邻算法&＃xff0c;在这里实例是二维空间中的点&＃xff0c;目标函数具有布尔值。正反训练样例用“&＃43;”和“-”分别表示。图中也画出了一个查询点xq。注意在这幅图中&＃xff0c;1-近邻算法把xq分类为正例&＃xff0c;然而5-近邻算法把xq分类为反例。

图解说明&＃xff1a; 左图画出了一系列的正反训练样例和一个要分类的查询实例xq。1-近邻算法把xq分类为正例&＃xff0c;然而5-近邻算法把xq分类为反例。
右图是对于一个典型的训练样例集合1-近邻算法导致的决策面。围绕每个训练样例的凸多边形表示最靠近这个点的实例空间&＃xff08;即这个空间中的实例会被1-近邻算法赋予该训练样例所属的分类&＃xff09;。

对前面的k-近邻算法作简单的修改后&＃xff0c;它就可被用于逼近连续值的目标函数。为了实现这一点&＃xff0c;我们让算法计算k个最接近样例的平均值&＃xff0c;而不是计算其中的最普遍的值。更精确地讲&＃xff0c;为了逼近一个实值目标函数f:Rn⟶R&＃xff0c;我们只要把算法中的公式替换为&＃xff1a;

针对传统KNN算法的改进

1. 快速KNN算法。参考FKNN论述文献&＃xff08;实际应用中结合lucene&＃xff09;

2. 加权欧氏距离公式。在传统的欧氏距离中,各特征的权重相同,也就是认定各个特征对于分类的贡献是相同的,显然这是不符合实际情况的。同等的权重使得特征向量之间相似度计算不够准确, 进而影响分类精度。加权欧氏距离公式,特征权重通过灵敏度方法获得&＃xff08;根据业务需求调整&＃xff0c;例如关键字加权、词性加权等&＃xff09;

距离加权最近邻算法

对k-最近邻算法的一个显而易见的改进是对k个近邻的贡献加权&＃xff0c;根据它们相对查询点xq的距离&＃xff0c;将较大的权值赋给较近的近邻。

例如&＃xff0c;在上表逼近离散目标函数的算法中&＃xff0c;我们可以根据每个近邻与xq的距离平方的倒数加权这个近邻的“选举权”。

方法是通过用下式取代上表算法中的公式来实现&＃xff1a;

其中&＃xff0c;

为了处理查询点xq恰好匹配某个训练样例xi&＃xff0c;从而导致分母为0的情况&＃xff0c;我们令这种情况下的 f′(xq) 等于f(xi)。如果有多个这样的训练样例&＃xff0c;我们使用它们中占多数的分类。

我们也可以用类似的方式对实值目标函数进行距离加权&＃xff0c;只要用下式替换上表的公式&＃xff1a;

其中&＃xff0c;wi的定义与之前公式中相同。

注意这个公式中的分母是一个常量&＃xff0c;它将不同权值的贡献归一化&＃xff08;例如&＃xff0c;它保证如果对所有的训练样例xi&＃xff0c;f(xi)&＃61;c&＃xff0c;那么(xq)←c)。

注意以上k-近邻算法的所有变体都只考虑k个近邻以分类查询点。如果使用按距离加权&＃xff0c;那么允许所有的训练样例影响xq的分类事实上没有坏处&＃xff0c;因为非常远的实例对(xq)的影响很小。考虑所有样例的惟一不足是会使分类运行得更慢。如果分类一个新的查询实例时考虑所有的训练样例&＃xff0c;我们称此为全局&＃xff08;global&＃xff09;法。如果仅考虑最靠近的训练样例&＃xff0c;我们称此为局部&＃xff08;local&＃xff09;法。

几个问题的解答

按距离加权的k-近邻算法是一种非常有效的归纳推理方法。它对训练数据中的噪声有很好的鲁棒性&＃xff0c;而且当给定足够大的训练集合时它也非常有效。注意通过取k个近邻的加权平均&＃xff0c;可以消除孤立的噪声样例的影响。

1. 问题一&＃xff1a; 近邻间的距离会被大量的不相关属性所支配。

应用k-近邻算法的一个实践问题是&＃xff0c;实例间的距离是根据实例的所有属性&＃xff08;也就是包含实例的欧氏空间的所有坐标轴&＃xff09;计算的。这与那些只选择全部实例属性的一个子集的方法不同&＃xff0c;例如决策树学习系统。

比如这样一个问题&＃xff1a;每个实例由20个属性描述&＃xff0c;但在这些属性中仅有2个与它的分类是有关。在这种情况下&＃xff0c;这两个相关属性的值一致的实例可能在这个20维的实例空间中相距很远。结果&＃xff0c;依赖这20个属性的相似性度量会误导k-近邻算法的分类。近邻间的距离会被大量的不相关属性所支配。这种由于存在很多不相关属性所导致的难题&＃xff0c;有时被称为维度灾难&＃xff08;curse of dimensionality&＃xff09;。最近邻方法对这个问题特别敏感。

解决方法&＃xff1a; 当计算两个实例间的距离时对每个属性加权。

这相当于按比例缩放欧氏空间中的坐标轴&＃xff0c;缩短对应于不太相关属性的坐标轴&＃xff0c;拉长对应于更相关的属性的坐标轴。每个坐标轴应伸展的数量可以通过交叉验证的方法自动决定。

2. 问题二&＃xff1a; 应用k-近邻算法的另外一个实践问题是如何建立高效的索引。因为这个算法推迟所有的处理&＃xff0c;直到接收到一个新的查询&＃xff0c;所以处理每个新查询可能需要大量的计算。

解决方法&＃xff1a; 目前已经开发了很多方法用来对存储的训练样例进行索引&＃xff0c;以便在增加一定存储开销情况下更高效地确定最近邻。一种索引方法是kd-tree&＃xff08;Bentley 1975&＃xff1b;Friedman et al. 1977&＃xff09;&＃xff0c;它把实例存储在树的叶结点内&＃xff0c;邻近的实例存储在同一个或附近的结点内。通过测试新查询xq的选定属性&＃xff0c;树的内部结点把查询xq排列到相关的叶结点。

1. 关于k的取值

K&＃xff1a;临近数&＃xff0c;即在预测目标点时取几个临近的点来预测。

K值得选取非常重要&＃xff0c;因为&＃xff1a;

• 如果当K的取值过小时&＃xff0c;一旦有噪声得成分存在们将会对预测产生比较大影响&＃xff0c;例如取K值为1时&＃xff0c;一旦最近的一个点是噪声&＃xff0c;那么就会出现偏差&＃xff0c;K值的减小就意味着整体模型变得复杂&＃xff0c;容易发生过拟合&＃xff1b;

• 如果K的值取的过大时&＃xff0c;就相当于用较大邻域中的训练实例进行预测&＃xff0c;学习的近似误差会增大。这时与输入目标点较远实例也会对预测起作用&＃xff0c;使预测发生错误。K值的增大就意味着整体的模型变得简单&＃xff1b;

• 如果K&＃61;&＃61;N的时候&＃xff0c;那么就是取全部的实例&＃xff0c;即为取实例中某分类下最多的点&＃xff0c;就对预测没有什么实际的意义了&＃xff1b;

K的取值尽量要取奇数&＃xff0c;以保证在计算结果最后会产生一个较多的类别&＃xff0c;如果取偶数可能会产生相等的情况&＃xff0c;不利于预测。

K的取法&＃xff1a;
常用的方法是从k&＃61;1开始&＃xff0c;使用检验集估计分类器的误差率。重复该过程&＃xff0c;每次K增值1&＃xff0c;允许增加一个近邻。选取产生最小误差率的K。

一般k的取值不超过20&＃xff0c;上限是n的开方&＃xff0c;随着数据集的增大&＃xff0c;K的值也要增大。

2.关于距离的选取

距离就是平面上两个点的直线距离

关于距离的度量方法&＃xff0c;常用的有&＃xff1a;欧几里得距离、余弦值&＃xff08;cos&＃xff09;, 相关度 &＃xff08;correlation&＃xff09;, 曼哈顿距离 &＃xff08;Manhattan distance&＃xff09;或其他。

Euclidean Distance 定义&＃xff1a;
　　两个点或元组P1&＃61;&＃xff08;x1&＃xff0c;y1&＃xff09;和P2&＃61;&＃xff08;x2&＃xff0c;y2&＃xff09;的欧几里得距离是

距离公式为&＃xff1a;&＃xff08;多个维度的时候是多个维度各自求差&＃xff09;

3.相似性度量

相似性一般用空间内两个点的距离来度量。距离越大&＃xff0c;表示两个越不相似。

作为相似性度量的距离函数一般满足下列性质:

• d(X,Y)&＃61;d(Y,X);

• d(X,Y)≦d(X,Z)&＃43;d(Z,Y);

• d(X,Y)≧0;

• d(X,Y)&＃61;0,当且仅当X&＃61;Y;

这里&＃xff0c;X,Y和Z是对应特征空间中的三个点。

假设X,Y分别是N维特征空间中的一个点&＃xff0c;其中X&＃61;(x1,x2,…,xn)T,Y&＃61;(y1,y2,…,yn)T,d(X,Y)表示相应的距离函数&＃xff0c;它给出了X和Y之间的距离测度。

距离的选择有很多种&＃xff0c;常用的距离函数如下&＃xff1a;

1. 明考斯基(Minkowsky)距离  

, λ一般取整数值&＃xff0c;不同的λ取值对应于不同的

距离

1. 曼哈顿(Manhattan)距离

&＃xff0c;该距离是Minkowsky距离在λ&＃61;1时的一个特例

1. Cityblock距离 

&＃xff0c;该距离是Manhattan距离的加权修正&＃xff0c;其中wi,i&＃61;1,2,…,n是权重因子。

1. 欧几里德(Euclidean)距离&＃xff08;欧氏距离&＃xff09;

&＃xff0c;是Minkowsky距离在λ&＃61;2时的特例

1. Canberra距离

   

    6. Mahalanobis距离(马式距离)

  d(X,M)给出了特征空间中的点X和M之间的一种距离测度&＃xff0c;其中M为某一个模式类别的均值向量&＃xff0c;∑为相应模式类别的协方差矩阵。

  该距离测度考虑了以M为代表的模式类别在特征空间中的总体分布,能够缓解由于属性的线性组合带来的距离失真。易见&＃xff0c;到M的马式距离为常数的点组成特征空间中的一个超椭球面。

1. 切比雪夫(Chebyshev)距离

  切比雪夫距离或是L∞度量是向量空间中的一种度量&＃xff0c;二个点之间的距离定义为其各坐标数值差的最大值。在二维空间中。以(x1,y1)和(x2,y2)二点为例&＃xff0c;其切比雪夫距离为

1. 平均距离

4. 消极学习与积极学习

(1) 积极学习(Eager Learning)

这种学习方式是指在进行某种判断&＃xff08;例如&＃xff0c;确定一个点的分类或者回归中确定某个点对应的函数值&＃xff09;之前&＃xff0c;先利用训练数据进行训练得到一个目标函数&＃xff0c;待需要时就只利用训练好的函数进行决策&＃xff0c;显然这是一种一劳永逸的方法&＃xff0c;SVM就属于这种学习方式。

(2) 消极学习(Lazy Learning)

这种学习方式指不是根据样本建立一般化的目标函数并确定其参数&＃xff0c;而是简单地把训练样本存储起来&＃xff0c;直到需要分类新的实例时才分析其与所存储样例的关系&＃xff0c;据此确定新实例的目标函数值。也就是说这种学习方式只有到了需要决策时才会利用已有数据进行决策&＃xff0c;而在这之前不会经历 Eager Learning所拥有的训练过程。KNN就属于这种学习方式。
比较

(3) 比较

Eager Learning考虑到了所有训练样本&＃xff0c;说明它是一个全局的近似&＃xff0c;虽然它需要耗费训练时间&＃xff0c;但它的决策时间基本为0.

Lazy Learning在决策时虽然需要计算所有样本与查询点的距离&＃xff0c;但是在真正做决策时却只用了局部的几个训练数据&＃xff0c;所以它是一个局部的近似&＃xff0c;然而虽然不需要训练&＃xff0c;它的复杂度还是需要 O(n),n 是训练样本的个数。由于每次决策都需要与每一个训练样本求距离&＃xff0c;这引出了Lazy Learning的缺点&＃xff1a;(1)需要的存储空间比较大 (2)决策过程比较慢。

(4) 典型算法

• 积极学习方法:SVM;Find-S算法;候选消除算法;决策树;人工神经网络;贝叶斯方法;

• 消极学习方法:KNN;局部加权回归;基于案例的推理;

sklearn库的应用

我利用了sklearn库来进行了kNN的应用&＃xff08;这个库是真的很方便了&＃xff0c;可以借助这个库好好学习一下&＃xff0c;我是用KNN算法进行了根据成绩来预测&＃xff0c;这里用一个花瓣萼片的实例&＃xff0c;因为这篇主要是关于KNN的知识&＃xff0c;所以不对sklearn的过多的分析&＃xff0c;而且我用的还不深入????&＃xff09;

sklearn库内的算法与自己手搓的相比功能更强大、拓展性更优异、易用性也更强。还是很受欢迎的。&＃xff08;确实好用&＃xff0c;简单&＃xff09;

from sklearn import neighbors   //包含有kNN算法的模块
from sklearn import datasets    //一些数据集的模块


调用KNN的分类器

knn &＃61; neighbors.KNeighborsClassifier()


预测花瓣代码

from sklearn import neighbors
from sklearn import datasetsknn &＃61; neighbors.KNeighborsClassifier()iris &＃61; datasets.load_iris()# f &＃61; open("iris.data.csv", &＃39;wb&＃39;)              #可以保存数据
# f.write(str(iris))
# f.close()print irisknn.fit(iris.data, iris.target)                 #用KNN的分类器进行建模&＃xff0c;这里利用的默认的参数&＃xff0c;大家可以自行查阅文档predictedLabel &＃61; knn.predict([[0.1, 0.2, 0.3, 0.4]])print ("predictedLabel is :" &＃43; predictedLabel)


上面的例子是只预测了一个&＃xff0c;也可以进行数据集的拆分&＃xff0c;将数据集划分为训练集和测试集

from sklearn.mode_selection import train_test_split   #引入数据集拆分的模块X_train, X_test, y_train, y_test &＃61; train_test_split(X, y, test_size&＃61;0.3, random_state&＃61;42)


关于 train_test_split 函数参数的说明&＃xff1a;

  train_data&＃xff1a;被划分的样本特征集

  train_target&＃xff1a;被划分的样本标签

  test_size&＃xff1a;float-获得多大比重的测试样本 &＃xff08;默认&＃xff1a;0.25&＃xff09;

  int - 获得多少个测试样本

  random_state&＃xff1a;是随机数的种子。

文献资料&＃xff1a;

[1] Trevor Hastie & Rolbert Tibshirani. Discriminant Adaptive Nearest Neighbor Classification. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,1996.
[2] R. Short & K. Fukanaga. A New Nearest Neighbor Distance Measure, Pro. Fifth IEEE Int’l Conf.Pattern Recognition,pp.81-86,1980.
[3] T.M Cover. Nearest Neighbor Pattern Classification, Pro. IEEE Trans, Infomation Theory,1967.
[4] C.J.Stone. Consistent Nonparametric Regression, Ann.Stat.,vol.3,No.4,pp.595-645,1977.
[5] W Cleveland. Robust Locally-Weighted Regression and Smoothing Scatterplots, J.Am.Statistical.,vol.74,pp.829-836,1979.
[6] T.A.Brown & J.Koplowitz. The Weighted Nearest Neighbor Rule for Class Dependent Sample Sizes, IEEE Tran. Inform. Theory, vol.IT-25,pp.617-619,Sept.1979.
[7] J.P.Myles & D.J.Hand. The Multi-Class Metric Problem in Nearest Neighbor Discrimination Rules, Pattern Recognition,1990.
[8] N.S.Altman. An Introduction to Kernel and Nearest Neighbor Nonparametric Regression,1992.
[9]Min-Ling Zhang & Zhi-Hua Zhou. M1-KNN: A Lazy Learning Approach to Multi-Label Learning,2007.
[10]Peter Hall, Byeong U.Park & Richard J. Samworth. Choice of Neighbor Order In Nearest Neighbor Classification,2008.
[11] Jia Pan & Dinesh Manocha. Bi-Level Locality Sensitive Hashing for K-Nearest Neighbor Computation,2012.

传送门&＃xff1a;

本文出自我最近在GitHub开源的电子书《计算机视觉实战演练&＃xff1a;算法与应用》&＃xff1a;

• - GitHub地址

  https://github.com/Charmve/computer-vision-in-action

• - 电子书地址

  https://charmve.github.io/computer-vision-in-action

更多精彩推荐
这届 AI 预测欧洲杯冠军&＃xff0c;通通被打脸Science论文&＃xff1a;诺奖经济学家的经典决策模型&＃xff0c;被AI挑战Copilot 真会砸了程序员的饭碗&＃xff1f;