统计机器学习第三章k近邻

输入&＃xff1a;{(x1,y1),(x2,y2),..(xN,yN),}&＃xff0c;其中yi&＃61;{c₁,c₂...c_k},i&＃61;1,2...N&＃xff0c;需要预测的特征向量x

输出&＃xff1a;x对应的类别

算法&＃xff1a;

1. 在训练集中找到与x最近邻的k个点
2. 对这个k个点的类别统计判断&＃xff0c;多数表决

k近邻当k为1时&＃xff0c;即退化为最近邻&＃xff0c;k近邻没有显式的学习过程。

三要素&＃xff1a;k值选择&＃xff0c;距离度量&＃xff0c;分类决策规则。

三种距离&＃xff0c;曼哈顿&＃xff0c;欧式距离&＃xff0c;切比雪夫距离