python聚类分析sklearn_kmeans聚类算法的python实现和sklearn的聚类器

k-means聚类算法的python实现和sklearn的聚类器

文章目录

k-means聚类算法的python实现和sklearn的聚类器1. 标准k-means聚类算法2. sklearn.cluster.KMeans

1. 标准k-means聚类算法

k-means是一个迭代算法&＃xff0c;需要人为指定聚类数量。因为实现简单、对大样本有很好的拓展性被广泛采用。 算法初始化阶段首先随机选取不重复的

k

k

k个点作为 初始的聚类中心(称为Centroid)。不断重复执行以下两个步骤&＃xff1a;

给每个点

x

i

x_i

xi分配所属类别

l

i

l_i

li

l

i

&＃61;

a

r

g

m

i

n

j

{

d

(

x

i

,

μ

j

)

}

l_i&＃61;\mathop{argmin}_{j}\{d(x_i,\mu_j)\}

li&＃61;argminj{d(xi,μj)}根据分配结果重新计算每个聚类的均值

μ

j

&＃61;

1

{

l

i

&＃61;

j

}

x

i

1

{

l

i

&＃61;

j

}

\mu_j&＃61;\frac{1\{l_i&＃61;j \}x_i}{1\{l_i&＃61;j\}}

μj&＃61;1{li&＃61;j}1{li&＃61;j}xi

实现代码如下&＃xff0c;实际上实现k-means算法的代码只有def k_means(dist, xy, k,centroids&＃61;None):的几行。

# k-means 聚类算法

import numpy as np

import numpy.linalg as la

import matplotlib.pyplot as plt

from sklearn.cluster import KMeans

plt.rcParams.update({

&＃39;savefig.dpi&＃39;: 600,

&＃39;mathtext.fontset&＃39;:&＃39;cm&＃39;,

&＃39;font.sans-serif&＃39;:&＃39;SimHei&＃39;,

&＃39;axes.unicode_minus&＃39;: False

})

def k_means(dist, xy, k,centroids&＃61;None):

# 随机不重复地选取 k 个点作为初始聚类中心

if not centroids:

centroids &＃61; np.random.choice(np.arange(dist.shape[0]),k,replace&＃61;False)

index &＃61; np.arange(dist.shape[0])

while True:

# 给每个点分配所属类别

groupid &＃61; np.argmin(dist[:,centroids], axis&＃61;-1)

# 生成类别索引

groups &＃61; [np.where(groupid &＃61;&＃61; id,True,False) for id in range(len(centroids))]

# 重新计算每一类的均值

kmeans &＃61; np.array([np.mean(xy[group],axis&＃61;0) for group in groups])

# 重新选定聚类中心

centroids_new &＃61; np.argmin(la.norm(xy[:,None,:] - kmeans,ord&＃61;2,axis&＃61;-1)**2,axis&＃61;0)

# 如果聚类中心不再变化&＃xff0c;算法结束

if np.all(centroids &＃61;&＃61; centroids_new):

return centroids,[index[group] for group in groups]

centroids &＃61; centroids_new

def get_dist():

X,Y &＃61; np.meshgrid(np.arange(10),np.arange(10))

xy &＃61; np.vstack((X.ravel(),Y.ravel())).T

dist &＃61; la.norm(xy[:,None,:] - xy,ord&＃61;2, axis&＃61;-1)

return dist, np.array(xy)

_, xy &＃61; get_dist()

X,Y &＃61; xy[:,0],xy[:,1]

fig,ax &＃61; plt.subplots()

ax.scatter(X.ravel(),Y.ravel(),marker&＃61;&＃39;o&＃39;,facecolor&＃61;&＃39;white&＃39;,edgecolor&＃61;&＃39;k&＃39;)

plt.show()

def cluster_diagram(centroids, groups, cmap&＃61;[&＃39;r&＃39;,&＃39;g&＃39;,&＃39;b&＃39;,&＃39;k&＃39;],centroids_marker&＃61;&＃39;D&＃39;):

# &＃39;D&＃39; -- &＃39;diamond&＃39;

fig, ax &＃61; plt.subplots()

for i in range(len(centroids)):

group,center &＃61; groups[i],centroids[i]

ax.scatter(X[group],Y[group],marker&＃61;&＃39;o&＃39;,facecolor&＃61;&＃39;white&＃39;,edgecolor&＃61;cmap[i])

ax.scatter(X[center],Y[center],marker&＃61;centroids_marker,facecolor&＃61;&＃39;white&＃39;,edgecolor&＃61;cmap[i],linewidth&＃61;2)

plt.show()

def main():

dist, xy &＃61; get_dist()

centroids, groups &＃61; k_means(dist,xy,4)

#     centroids, groups &＃61; k_means(*get_dist(),4,centroids&＃61;[54,55,64,65])

print(centroids, *groups,sep&＃61;&＃39;\n&＃39;)

cluster_diagram(centroids,groups)

# sklearn.cluster.KMeans

kmeans &＃61; KMeans(4)

kmeans.fit(xy)

print(kmeans.labels_,kmeans.cluster_centers_,sep&＃61;&＃39;\n&＃39;)

if __name__ &＃61;&＃61; &＃39;__main__&＃39;:

main()

首先生成了坐标系上的

100

100

100个点坐标和相应的距离矩阵。这里是点的坐标分布&＃xff1a;

经过k_means函数聚类后画出聚类结果图。这里是聚类结果&＃xff1a;(选取最中间的四个点[54,55,64,65]可以得到最均匀的聚类结果)

最后调用了sklearn.cluster.KMeans&＃xff0c;和它的结果对比。

我的函数k_means():

聚类中心&＃xff1a;[22 27 72 77]

所属类别&＃xff1a;

[ 0  1  2  3  4 10 11 12 13 14 20 21 22 23 24 30 31 32 33 34 40 41 42 43

44]

[ 5  6  7  8  9 15 16 17 18 19 25 26 27 28 29 35 36 37 38 39 45 46 47 48

49]

[50 51 52 53 54 60 61 62 63 64 70 71 72 73 74 80 81 82 83 84 90 91 92 93

94]

[55 56 57 58 59 65 66 67 68 69 75 76 77 78 79 85 86 87 88 89 95 96 97 98

99]

skleaern.cluster.KMeans:

聚类中心&＃xff1a;

[[2. 2.]

[2. 7.]

[7. 7.]

[7. 2.]]

所属类别&＃xff1a;

[0 0 0 0 0 3 3 3 3 3 0 0 0 0 0 3 3 3 3 3 0 0 0 0 0 3 3 3 3 3 0 0 0 0 0 3 3

3 3 3 0 0 0 0 0 3 3 3 3 3 1 1 1 1 1 2 2 2 2 2 1 1 1 1 1 2 2 2 2 2 1 1 1 1

1 2 2 2 2 2 1 1 1 1 1 2 2 2 2 2 1 1 1 1 1 2 2 2 2 2]

2. sklearn.cluster.KMeans

第一节的代码用到了sklearn.cluster.KMeans&＃xff0c;这里搬运一个官方文档给出的示例代码&＃xff1a;

>>> from sklearn.cluster import KMeans

>>> import numpy as np

>>> X &＃61; np.array([[1, 2], [1, 4], [1, 0],

...               [10, 2], [10, 4], [10, 0]])

>>> kmeans &＃61; KMeans(n_clusters&＃61;2, random_state&＃61;0).fit(X)

>>> kmeans.labels_

# 给出每个点所属类别的向量

array([1, 1, 1, 0, 0, 0], dtype&＃61;int32)

>>> kmeans.predict([[0, 0], [12, 3]])

# 预测类别

array([1, 0], dtype&＃61;int32)

>>> kmeans.cluster_centers_

# 聚类中心

array([[10.,  2.],

[ 1.,  2.]])