k均值算法有哪些不足之处_K均值聚类算法(KMeans)

K-means是一种无监督学习&＃xff0c;对未标记的数据&＃xff08;即没有定义类别或组的数据&＃xff09;进行分类。 该算法的目标是在数据中找到由变量K标记的组。该算法迭代地工作基于所提供的特征&＃xff0c;将每个数据点分配给K个组中的一个。 基于特征相似性对数据点进行聚类。 K均值聚类算法的结果是&＃xff1a;

1.K簇的质心&＃xff0c;可用于标记新数据

2.训练数据的标签&＃xff08;每个数据点分配给一个集群&＃xff09;

一、k-means简述

1、聚类

“类”指的是具有相似性的集合&＃xff0c;聚类是指将数据集划分为若干类&＃xff0c;使得各个类之内的数据最为相似&＃xff0c;而各个类之间的数据相似度差别尽可能的大。对数据集进行聚类划分&＃xff0c;属于无监督学习。聚类分析就是以相似性为基础&＃xff0c;在一个聚类中的模式之间比不在同一个聚类中的模式之间具有更多的相似性。

2、K-Means

对样本集D &＃61; {x1,x2,…,xm}.K-Means算法就是针对聚类划分C &＃61; {C1,C2,…,Ck}最小化平方误差&＃xff1b;

其中

是是簇Ci的均值向量。从上述公式中可以看出&＃xff0c;该公式刻画了簇内样本围绕簇均值向量的紧密程度&＃xff0c;E值越小簇内样本的相似度越高。

结合最小二乘法和拉格朗日原理&＃xff0c;聚类中心为对应类别中各数据点的平均值&＃xff0c;同时为了使算法收敛&＃xff0c;在迭代的过程中&＃xff0c;应使得最终的聚类中心尽可能的不变。

三、工作流程

随机选取K个样本作为聚类中心&＃xff1b;

计算各样本与各个聚类中心的距离&＃xff1b;

将各样本回归于与之距离最近的聚类中心&＃xff1b;

求各个类的样本的均值&＃xff0c;作为新的聚类中心&＃xff1b;

判定&＃xff1a;若类中心不再发生变动或者达到迭代次数&＃xff0c;算法结束&＃xff0c;否则回到第二步。

四、k-means算法的描述如下

当任意一个点的簇分配结果发生改变时&＃xff0c;对数据集中的每个点&＃xff0c;对每个质心&＃xff0c;计算质心与数据点之间的距离将数据点分配到距离其最近的簇对每一个簇&＃xff0c;计算簇中所有点的均值并将均值作为质心。

二、wine数据集的红酒K-Means聚类

导入数据

数据预处理

数据聚类

&＃xff08;1&＃xff09;对比真实标签和聚类标签求取FMI

&＃xff08;2&＃xff09;在聚类数目为2~10类时&＃xff0c;确定最优聚类数目

数据越接近1更好所以由上图可得聚类最优为3类&＃xff0c;与k-means聚类结果相同