【模式识别】实验二：K近邻算法(KNN)

KNN是模式识别中的经典算法&＃xff0c;本次实验就MNIST数据集来做KNN算法的实验&＃xff0c;并结合前一次的LDA降维对数据进行进一步处理。

实验报告图片版

pdf版本可以戳这&＃xff1a;模式识别实验报告&＃xff1a;KNN K近邻算法

关键代码

KNN原理报告里有写&＃xff0c;不作重复赘述。
本实验使用的编程环境是Jupyter&＃xff0c;完整的程序代码可以戳这下载。
【模式识别】实验二&＃xff1a;KNN&＃xff0c;python程序代码与实验过程
这里仅贴上核心代码

MNIST数据集的导入

在本专栏之前一篇博文专门分析过&＃xff0c;这里只上代码&＃xff1a;

mnist &＃61; fetch_openml("mnist_784")
X, y &＃61; mnist[&＃39;data&＃39;], mnist[&＃39;target&＃39;] # X:data&＃xff0c;y:label


特征标准化

特征标准化的好处&＃xff1a;1、提高精度。2、提高计算速度

from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_splitscaler &＃61; StandardScaler()
X_standardized &＃61; scaler.fit_transform(X1)


数据筛选

shuffle_index &＃61; np.random.permutation(60000) # 随机排列一个序列&＃xff0c;返回一个排列的序列。
X1, y1 &＃61; X[shuffle_index[:10000]], y[shuffle_index[:10000]]


对KNN来说&＃xff0c;数据筛选是很有必要的。MNIST总共7w条数据&＃xff0c;全部都跑会跑到天荒地老~
因此本实验随机筛选了10000条数据。

KNN实现方式一&＃xff1a;调用sklearn的KNeighborsClassifier

from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import learning_curve
from sklearn import metricsdef knn(k):# 测试用&＃xff0c;记录算法的时间# begin_t &＃61; t.time()#创建一个有5个邻居的KNN分类器对象knn &＃61; KNeighborsClassifier(n_neighbors&＃61;k, n_jobs&＃61;-1)#训练模型model &＃61; knn.fit(X_train, y_train)#预测数据predictions &＃61; model.predict(X_test)#测试准确率accuracy &＃61; metrics.accuracy_score(y_test, predictions)
# print ("k&＃61;",k)
# print (&＃39;accuracy&＃xff1a;%.2f%%&＃39;%(100*accuracy))return 100*accuracy# print("Total time: {:.2f}s".format(t.time()-begin_t))


KNN实现方式二&＃xff1a;手动实现

def knn(k):accuracy &＃61; 0m &＃61; X_train.shape[0] # m 标记预测值数量8000 &＃xff1b; n 标记测试集数量 2000n &＃61; X_test.shape[0]for i in range(n):count &＃61; np.zeros(10)prediction &＃61; 0distance &＃61; np.zeros((m,2))for t in range(m):distance[t,0] &＃61; y_train[t] # 储存标签和欧式距离distance[t,1] &＃61; np.sqrt(sum(np.power(X_train[t] - X_test[i], 2))) # 求欧式距离order &＃61; distance[np.lexsort(distance.T)] # 按第二列(距离)排序for j in range(k):a &＃61; order[j,0]a &＃61; a.astype(int)count[a] &＃43;&＃61; 1 prediction &＃61; count.argmax() # 取出现次数最多的为预测值if prediction &＃61;&＃61; y_test[i]:accuracy &＃43;&＃61; 1Accuracy &＃61; accuracy/nreturn 100*Accuracy # 化成百分数形式


简要描述下算法思路&＃xff1a;
1、逐次遍历测试集&＃xff0c;对每个样本计算其和训练集的欧式距离。
2、将每个训练样本到该样本欧式距离排序&＃xff0c;选取前K个训练样本。
3、统计这K个样本的标签&＃xff0c;测试样本的标签即为这K个样本的最多的标签。

LDA降维

# 使用Fisher进行降维
# 注&＃xff1a;LDA最大降维数<分类数-1
# minsit为10分类&＃xff0c;因此维度数可以取1-8
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA
def mylda(X, y, demension):lda &＃61; LDA(n_components&＃61;demension)lda.fit(X, y)result_x &＃61; lda.transform(X)return result_x


总结

KNN需要计算每一个样本到训练样本的距离&＃xff0c;因此训练样本越多&＃xff0c;程序运行越慢&＃xff1b;
优势在于程序无需经过训练&＃xff0c;可以直接将样本进行判别分类。