【python】机器学习实战KNN算法之约会网站

一、算法流程&＃xff1a;

二、约会网站实例流程&＃xff1a;

三、代码详解&＃xff1a;

import numpy as np
import operator
import matplotlib.pyplot as plt def classify(inX, dataset, labels, k):"""inX 是输入的测试样本&＃xff0c;是一个[x, y]样式的dataset 是训练样本集labels 是训练样本标签k 是top k最相近的"""# shape返回矩阵的[行数&＃xff0c;列数]&＃xff0c;# 那么shape[0]获取数据集的行数&＃xff0c;# 行数就是样本的数量dataSetSize &＃61; dataset.shape[0] """下面的求距离过程就是按照欧氏距离的公式计算的。即 根号(x^2&＃43;y^2)"""# tile属于numpy模块下边的函数# tile&＃xff08;A, reps&＃xff09;返回一个shape&＃61;reps的矩阵&＃xff0c;矩阵的每个元素是A# 比如 A&＃61;[0,1,2] 那么&＃xff0c;tile(A, 2)&＃61; [0, 1, 2, 0, 1, 2]# tile(A,(2,2)) &＃61; [[0, 1, 2, 0, 1, 2],# [0, 1, 2, 0, 1, 2]]# tile(A,(2,1,2)) &＃61; [[[0, 1, 2, 0, 1, 2]],# [[0, 1, 2, 0, 1, 2]]] # 上边那个结果的分开理解就是&＃xff1a;# 最外层是2个元素&＃xff0c;即最外边的[]中包含2个元素&＃xff0c;类似于[C,D],而此处的C&＃61;D&＃xff0c;因为是复制出来的# 然后C包含1个元素&＃xff0c;即C&＃61;[E],同理D&＃61;[E]# 最后E包含2个元素&＃xff0c;即E&＃61;[F,G],此处F&＃61;G&＃xff0c;因为是复制出来的# F就是A了&＃xff0c;基础元素# 综合起来就是(2,1,2)&＃61; [C, C] &＃61; [[E], [E]] &＃61; [[[F, F]], [[F, F]]] &＃61; [[[A, A]], [[A, A]]]# 这个地方就是为了把输入的测试样本扩展为和dataset的shape一样&＃xff0c;然后就可以直接做矩阵减法了。# 比如&＃xff0c;dataset有4个样本&＃xff0c;就是4*2的矩阵&＃xff0c;输入测试样本肯定是一个了&＃xff0c;就是1*2&＃xff0c;为了计算输入样本与训练样本的距离# 那么&＃xff0c;需要对这个数据进行作差。这是一次比较&＃xff0c;因为训练样本有n个&＃xff0c;那么就要进行n次比较&＃xff1b;# 为了方便计算&＃xff0c;把输入样本复制n次&＃xff0c;然后直接与训练样本作矩阵差运算&＃xff0c;就可以一次性比较了n个样本。# 比如inX &＃61; [0,1],dataset就用函数返回的结果&＃xff0c;那么# tile(inX, (4,1))&＃61; [[ 0.0, 1.0],# [ 0.0, 1.0],# [ 0.0, 1.0],# [ 0.0, 1.0]]# 作差之后# diffMat &＃61; [[-1.0,-0.1],# [-1.0, 0.0],# [ 0.0, 1.0],# [ 0.0, 0.9]]diffMat &＃61;np. tile(inX, (dataSetSize, 1)) - dataset# diffMat就是输入样本与每个训练样本的差值&＃xff0c;然后对其每个x和y的差值进行平方运算。# diffMat是一个矩阵&＃xff0c;矩阵**2表示对矩阵中的每个元素进行**2操作&＃xff0c;即平方。# sqDiffMat &＃61; [[1.0, 0.01],# [1.0, 0.0 ],# [0.0, 1.0 ],# [0.0, 0.81]]sqDiffMat &＃61; diffMat ** 2# axis&＃61;1表示按照横轴&＃xff0c;sum表示累加&＃xff0c;即按照行进行累加。# sqDistance &＃61; [[1.01],# [1.0 ],# [1.0 ],# [0.81]]sqDistance &＃61; sqDiffMat.sum(axis&＃61;1)# 对平方和进行开根号distance &＃61; sqDistance ** 0.5# 按照升序进行快速排序&＃xff0c;返回的是原数组的下标。# 比如&＃xff0c;x &＃61; [30, 10, 20, 40]# 升序排序后应该是[10,20,30,40],他们的原下标是[1,2,0,3]# 那么&＃xff0c;numpy.argsort(x) &＃61; [1, 2, 0, 3]sortedDistIndicies &＃61; distance.argsort()# 存放最终的分类结果及相应的结果投票数classCount &＃61; {}# 投票过程&＃xff0c;就是统计前k个最近的样本所属类别包含的样本个数for i in range(k):# index &＃61; sortedDistIndicies[i]是第i个最相近的样本下标# voteIlabel &＃61; labels[index]是样本index对应的分类结果(&＃39;A&＃39; or &＃39;B&＃39;)voteIlabel &＃61; labels[sortedDistIndicies[i]]# classCount.get(voteIlabel, 0)返回voteIlabel的值&＃xff0c;如果不存在&＃xff0c;则返回0# 然后将票数增1classCount[voteIlabel] &＃61; classCount.get(voteIlabel, 0) &＃43; 1# 把分类结果进行排序&＃xff0c;然后返回得票数最多的分类结果sortedClassCount &＃61; sorted(classCount.items(), key&＃61;operator.itemgetter(1), reverse&＃61;True)return sortedClassCount[0][0]
def file2matrix(filename):"""从文件中读入训练数据&＃xff0c;并存储为矩阵"""fr &＃61; open(filename)arrayOlines &＃61; fr.readlines()numberOfLines &＃61; len(arrayOlines) #获取 n&＃61;样本的行数returnMat &＃61; np.zeros((numberOfLines,3)) #创建一个2维矩阵用于存放训练样本数据&＃xff0c;一共有n行&＃xff0c;每一行存放3个数据classLabelVector &＃61; [] #创建一个1维数组用于存放训练样本标签。 #print(returnMat)index &＃61; 0for line in arrayOlines:# 把回车符号给去掉line &＃61; line.strip() # 把每一行数据用\t分割listFromLine &＃61; line.split(&＃39;\t&＃39;)# 把分割好的数据放至数据集&＃xff0c;其中index是该样本数据的下标&＃xff0c;就是放到第几行returnMat[index,:] &＃61; listFromLine[0:3]# 把该样本对应的标签放至标签集&＃xff0c;顺序与样本集对应。classLabelVector.append(int(listFromLine[-1]))index &＃43;&＃61; 1return returnMat,classLabelVectordef autoNorm(dataSet):"""训练数据归一化"""# 获取数据集中每一列的最小数值# 以createDataSet()中的数据为例&＃xff0c;group.min(0)&＃61;[0,0]minVals &＃61; dataSet.min(0) # 获取数据集中每一列的最大数值# group.max(0)&＃61;[1, 1.1]maxVals &＃61; dataSet.max(0) # 最大值与最小的差值ranges &＃61; maxVals - minVals# 创建一个与dataSet同shape的全0矩阵&＃xff0c;用于存放归一化后的数据normDataSet &＃61; np.zeros(np.shape(dataSet))m &＃61; dataSet.shape[0]# 把最小值扩充为与dataSet同shape&＃xff0c;然后作差&＃xff0c;具体tile请翻看 第三节 代码中的tilenormDataSet &＃61; dataSet - np.tile(minVals, (m,1))# 把最大最小差值扩充为dataSet同shape&＃xff0c;然后作商&＃xff0c;是指对应元素进行除法运算&＃xff0c;而不是矩阵除法。# 矩阵除法在numpy中要用linalg.solve(A,B)normDataSet &＃61; normDataSet/np.tile(ranges, (m,1))return normDataSet, ranges, minValsdef datingClassTest():# 将数据集中10%的数据留作测试用&＃xff0c;其余的90%用于训练hoRatio &＃61; 0.10datingDataMat,datingLabels &＃61; file2matrix(&＃39;C:\\Users\\蓝月亮\\Desktop\\机器学习实战源代码\\machinelearninginaction\\Ch02\\datingTestSet2.txt&＃39;) #load data setfrom file#print(datingDataMat)#print(datingLabels)normMat, ranges, minVals &＃61; autoNorm(datingDataMat)m &＃61; normMat.shape[0]print(m)numTestVecs &＃61; int(m*hoRatio)errorCount &＃61; 0.0for i in range(numTestVecs):classifierResult &＃61; classify(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],4)#print(classifierResult)print("the classifier came back with: %d, the real answer is: %d, result is :%s" % (classifierResult, datingLabels[i],classifierResult&＃61;&＃61;datingLabels[i]))if(classifierResult !&＃61; datingLabels[i]): errorCount&＃43;&＃61; 1.0print("the total error rate is: %f" % (errorCount/float(numTestVecs)))print(errorCount)

结果&＃xff1a;选取K&＃61;4&＃xff0c;正确率为96%100