python机器学习之手写Kmeans算法

上一期的机器学习算法更新到岭回归&＃xff0c;然后看完了非监督的聚类算法就进入到深度学习了&＃xff0c;机器学习剩下几章没更新&＃xff0c;这几天上课时候老师讲到Kmeans算法&＃xff0c;于是我就觉得手写一下Kmeans算法&＃xff0c;加深对聚类算法的理解。

1. K-means算法原理

K-means算法的思想&＃xff1a;

• 首先从数据集中随机选取K个点作为初始中心点。
• 然后分别计算所有点到这K个点的距离&＃xff0c;每个点选取距离最小的中心点将他们归成一类。
• 重现计算各个类中所有点的平均值&＃xff0c;选出新的中心点
• 再次计算所有点到新的中心的距离&＃xff0c;然后归类。
• 循环多次&＃xff0c;当中心点变动较小或不变时&＃xff0c;算法结束。

• 初始化初始点&＃xff0c;计算距离的函数&＃xff0c;分类的函数

def distance(a,b):#计算两点之间的欧式距离dis&＃61;np.sqrt(((a[0]-b[0])**2)&＃43;((a[1]-b[1])**2))return disdef initCenterpoint(k):#用随机数生成K个2维的初始中心点return np.random.random(k*2).reshape(k,2)def owner(dot,centerpoint):#属于哪个簇kclass&＃61;0min_distance &＃61; np.inf#距离初始化为无限大for i in range(len(centerpoint)):#分别计算各个点与中心点的距离&＃xff0c;选取最小的距离的中心点作为分类d&＃61;distance(dot,centerpoint[i])if d<min_distance:kclass&＃61;imin_distance&＃61;dreturn kclass#返回的是一个数


• 计算每个类的中心点

def newCenter2(point,new_kclass):#求每组的平均值以确定中心k&＃61;max(new_kclass)&＃43;1#比如Kclass分类为&＃xff08;0,1,2&＃xff09;则K的取值为3newCenter&＃61;np.zeros((k,2))#初始化一个&＃xff08;K&＃xff0c;3&＃xff09;的矩阵,用来存放分类类别point&＃61;pd.DataFrame(point,columns&＃61;["x","y"])#点的数据转化为dataframenew_kclass&＃61;pd.DataFrame(new_kclass,columns&＃61;["kcalss"])#类别信息转化为dataframe类型point2&＃61;point.join(new_kclass)#合并点的信息和点的分类信息point2.columns&＃61;["x","y","kclass"]#将新的dataframe重新命名for i in range(k):#分别计算类别为0,1的平均值&＃xff0c;保存为一个&＃xff08;K&＃xff0c;2&＃xff09;的二维数组point3&＃61;point2[point2["kclass"]&＃61;&＃61;i]newCenter[i]&＃61;point3[["x","y"]].mean(axis&＃61;0)return newCenter


• 将计算出每个点的所属类整合成一个一维数组

def update_kcalss(point,centerpoint):#将获得的每个点的所属类的信息放在一个数组里n&＃61;len(point)#点的个数为数组的长度new_kclass &＃61; np.zeros((n))for i,point in enumerate(point):#利用循环给数组添加数new_kclass[i]&＃61;owner(point,centerpoint)new_kclass&＃61;new_kclass.astype(int)return new_kclass#返回数组


• 组合成K-means算法

def kmeans(point):centerpoint&＃61;initCenterpoint(2)#初始化K个类别&＃xff0c;我这里是2个kclass&＃61;update_kcalss(point,centerpoint)#初始化每个点所属的类别old_kclsss &＃61; kclass#保留第一次的所属类别for i in range(200):#循环一个很大次数centerpoint&＃61;newCenter2(point,kclass)#更新新的中心点kclass&＃61;update_kcalss(point,centerpoint)#计算新的类别if np.array_equal(old_kclsss,kclass):#利用新的类别和旧类别进行比较&＃xff0c;如果不同&＃xff0c;说明分类没有结束&＃xff0c;如果相同&＃xff0c;分类结束。print("循环多少次&＃xff1a;",i)breakelse:old_kclsss&＃61;kclassreturn centerpoint,kclass#返回中心点和分类类别


• 测试一下

#将c进行聚类
c &＃61; np.array([[1,2],[1,1],[2,2],[5,5],[-0.10,-2.10],[-0.8,-1.8],[-2.9,-0.9],[-3.1,-2.2],[2,6],[7,10]])
a,b&＃61;kmeans(c)
c2&＃61;pd.DataFrame(c)
plt.plot(c2[0],c2[1],"or")
print(b)
a1&＃61;pd.DataFrame(a)
print(a1)
plt.plot(a1[0],a1[1],"xb")
plt.show()


• 结果
  

import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
#二维数据Kmeans算法
def distance(a,b):#计算两点之间的欧式距离dis&＃61;np.sqrt(((a[0]-b[0])**2)&＃43;((a[1]-b[1])**2))return disdef initCenterpoint(k):#用随机数生成K个2维的初始中心点return np.random.random(k*2).reshape(k,2)def owner(dot,centerpoint):#属于哪个簇kclass&＃61;0min_distance &＃61; np.inffor i in range(len(centerpoint)):d&＃61;distance(dot,centerpoint[i])if d<min_distance:kclass&＃61;imin_distance&＃61;dreturn kclassdef newCenter2(point,new_kclass):#求每组的平均值以确定中心k&＃61;max(new_kclass)&＃43;1#比如Kclass分类为&＃xff08;0,1,2&＃xff09;则K的取值为3newCenter&＃61;np.zeros((k,2))#初始化一个&＃xff08;K&＃xff0c;3&＃xff09;的矩阵,用来存放分类类别point&＃61;pd.DataFrame(point,columns&＃61;["x","y"])#点的数据转化为dataframenew_kclass&＃61;pd.DataFrame(new_kclass,columns&＃61;["kcalss"])#类别信息转化为dataframe类型point2&＃61;point.join(new_kclass)#合并点的信息和点的分类信息point2.columns&＃61;["x","y","kclass"]#将新的dataframe重新命名for i in range(k):#分别计算类别为0,1的平均值&＃xff0c;保存为一个&＃xff08;K&＃xff0c;2&＃xff09;的二维数组point3&＃61;point2[point2["kclass"]&＃61;&＃61;i]newCenter[i]&＃61;point3[["x","y"]].mean(axis&＃61;0)return newCenterdef update_kcalss(point,centerpoint):#将获得的每个点的所属类的信息放在一个数组里n&＃61;len(point)new_kclass &＃61; np.zeros((n))for i,point in enumerate(point):new_kclass[i]&＃61;owner(point,centerpoint)new_kclass&＃61;new_kclass.astype(int)return new_kclassdef kmeans(point):centerpoint&＃61;initCenterpoint(2)#初始化K个类别&＃xff0c;我这里是2个kclass&＃61;update_kcalss(point,centerpoint)#初始化每个点所属的类别old_kclsss &＃61; kclass#保留第一次的所属类别for i in range(200):#循环一个很大次数centerpoint&＃61;newCenter2(point,kclass)#更新新的中心点kclass&＃61;update_kcalss(point,centerpoint)#计算新的类别if np.array_equal(old_kclsss,kclass):#利用新的类别和旧类别进行比较&＃xff0c;如果不同&＃xff0c;说明分类没有结束&＃xff0c;如果相同&＃xff0c;分类结束。print("循环多少次&＃xff1a;",i)breakelse:old_kclsss&＃61;kclassreturn centerpoint,kclass#返回中心点和分类类别#程序入口
c &＃61; np.array([[1,2],[1,1],[2,2],[5,5],[-0.10,-2.10],[-0.8,-1.8],[-2.9,-0.9],[-3.1,-2.2],[2,6],[7,10]])
#这个是主程序
a,b&＃61;kmeans(c)
c2&＃61;pd.DataFrame(c)
plt.plot(c2[0],c2[1],"or")
print(b)
a1&＃61;pd.DataFrame(a)
print(a1)
plt.plot(a1[0],a1[1],"xb")
plt.show()