cs231n笔记（1）——KNN算法

图像分类&＃xff1a;KNN算法&＃xff08;K—最近邻算法&＃xff09;

一.定义

定义&＃xff1a;KNN是通过测量不同特征值之间的距离进行分类。它的的思路是&＃xff1a;如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别&＃xff0c;则该样本也属于这个类别。KNN算法中&＃xff0c;所选择的邻居都是已经正确分类的对象。&＃xff08;K在此例中为圆的半径&＃xff09;

二.解释

比如此例子中绿色为需判断类。

当K&＃61;1时&＃xff08;即实线圆&＃xff09;&＃xff0c;红色三角占2/3&＃xff0c;所以我们人为样本也是红色三角。

当K&＃61;2时&＃xff08;即虚线&＃xff09;&＃xff0c;蓝色为3/5&＃xff0c;占多数&＃xff0c;算法会将样本归为蓝色方形。

三.距离

关于距离&＃xff0c;一般有两种&＃xff1a;

1.欧式距离&＃xff1a;

2.曼哈顿距离&＃xff1a;

四.在图像识别中的应用

在图像识别中&＃xff0c;自己理解只是应用KNN的思想&＃xff0c;距离并不是实际意义上的距离&＃xff0c;而是样本图片像素与标准图片的差距&＃xff0c;例如&＃xff1a;

1&＃xff09;计算测试数据与各个训练数据之间的距离&＃xff1a;每个像素点的差距再求和&＃xff1b;
2&＃xff09;按照距离的递增关系进行排序&＃xff1b;
3&＃xff09;选取距离最小的n个点&＃xff1b;
4&＃xff09;确定n个点所在类别的出现频率&＃xff1b;
5&＃xff09;返回前n个点中出现频率最高的类别作为测试数据的预测分类


如果数据过少&＃xff0c;可以使用交叉验证法&＃xff0c;在选择中反复选择测试验证折&＃xff0c;在所有可能的测试折的选择中选出效果最好的。但是KNN很少被采用的原因是效率低。

参考文章&＃xff1a;https://www.cnblogs.com/ybjourney/p/4702562.html

cs231n地址&＃xff1a;http://study.163.com/course/courseLearn.htm?courseId&＃61;1003223001#/learn/video?lessonId&＃61;1004015843&courseId&＃61;1003223001