java实现onehot_机器学习：数据预处理之独热编码（OneHot）

前言

————————————————————————————————————————

在机器学习算法中&＃xff0c;我们经常会遇到分类特征&＃xff0c;例如&＃xff1a;人的性别有男女&＃xff0c;祖国有中国&＃xff0c;美国&＃xff0c;法国等。

这些特征值并不是连续的&＃xff0c;而是离散的&＃xff0c;无序的。通常我们需要对其进行特征数字化。

那什么是特征数字化呢&＃xff1f;例子如下&＃xff1a;

性别特征&＃xff1a;["男"&＃xff0c;"女"]

祖国特征&＃xff1a;["中国"&＃xff0c;"美国&＃xff0c;"法国"]

运动特征&＃xff1a;["足球"&＃xff0c;"篮球"&＃xff0c;"羽毛球"&＃xff0c;"乒乓球"]

假如某个样本(某个人)&＃xff0c;他的特征是这样的["男","中国","乒乓球"]&＃xff0c;我们可以用 [0,0,4] 来表示&＃xff0c;但是这样的特征处理并不能直接放入机器学习算法中。因为类别之间是无序的(运动数据就是任意排序的)。

什么是独热编码(One-Hot)&＃xff1f;

————————————————————————————————————————

One-Hot编码&＃xff0c;又称为一位有效编码&＃xff0c;主要是采用N位状态寄存器来对N个状态进行编码&＃xff0c;每个状态都由他独立的寄存器位&＃xff0c;并且在任意时候只有一位有效。

One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后&＃xff0c;每个整数值被表示为二进制向量&＃xff0c;除了整数的索引之外&＃xff0c;它都是零值&＃xff0c;它被标记为1。

One-Hot实际案例

————————————————————————————————————————

就拿上面的例子来说吧&＃xff0c;性别特征&＃xff1a;["男","女"]&＃xff0c;按照N位状态寄存器来对N个状态进行编码的原理&＃xff0c;咱们处理后应该是这样的(这里只有两个特征&＃xff0c;所以N&＃61;2)&＃xff1a;

男  &＃61;>  10

女  &＃61;>  01

祖国特征&＃xff1a;["中国"&＃xff0c;"美国&＃xff0c;"法国"](这里N&＃61;3)&＃xff1a;

中国  &＃61;>  100

美国  &＃61;>  010

法国  &＃61;>  001

运动特征&＃xff1a;["足球"&＃xff0c;"篮球"&＃xff0c;"羽毛球"&＃xff0c;"乒乓球"](这里N&＃61;4)&＃xff1a;

足球  &＃61;>  1000

篮球  &＃61;>  0100

羽毛球  &＃61;>  0010

乒乓球  &＃61;>  0001

所以&＃xff0c;当一个样本为["男","中国","乒乓球"]的时候&＃xff0c;完整的特征数字化的结果为&＃xff1a;

[1&＃xff0c;0&＃xff0c;1&＃xff0c;0&＃xff0c;0&＃xff0c;0&＃xff0c;0&＃xff0c;0&＃xff0c;1]

下图可能会更好理解&＃xff1a;

One-Hot在python中的使用

————————————————————————————————————————

from sklearn import preprocessing

enc &＃61; preprocessing.OneHotEncoder()

enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])  #这里一共有4个数据&＃xff0c;3种特征

array &＃61; enc.transform([[0,1,3]]).toarray()  #这里使用一个新的数据来测试

print array   # [[ 1  0  0  1  0  0  0  0  1]]

结果为 1 0 0 1 0 0 0 0 1

为什么使用one-hot编码来处理离散型特征?

————————————————————————————————————————

在回归&＃xff0c;分类&＃xff0c;聚类等机器学习算法中&＃xff0c;特征之间距离的计算或相似度的计算是非常重要的&＃xff0c;而我们常用的距离或相似度的计算都是在欧式空间的相似度计算&＃xff0c;计算余弦相似性&＃xff0c;基于的就是欧式空间。

而我们使用one-hot编码&＃xff0c;将离散特征的取值扩展到了欧式空间&＃xff0c;离散特征的某个取值就对应欧式空间的某个点。

将离散型特征使用one-hot编码&＃xff0c;确实会让特征之间的距离计算更加合理。

比如&＃xff0c;有一个离散型特征&＃xff0c;代表工作类型&＃xff0c;该离散型特征&＃xff0c;共有三个取值&＃xff0c;不使用one-hot编码&＃xff0c;其表示分别是x_1 &＃61; (1), x_2 &＃61; (2), x_3 &＃61; (3)。两个工作之间的距离是&＃xff0c;(x_1, x_2) &＃61; 1, d(x_2, x_3) &＃61; 1, d(x_1, x_3) &＃61; 2。那么x_1和x_3工作之间就越不相似吗&＃xff1f;显然这样的表示&＃xff0c;计算出来的特征的距离是不合理。那如果使用one-hot编码&＃xff0c;则得到x_1 &＃61; (1, 0, 0), x_2 &＃61; (0, 1, 0), x_3 &＃61; (0, 0, 1)&＃xff0c;那么两个工作之间的距离就都是sqrt(2).即每两个工作之间的距离是一样的&＃xff0c;显得更合理。

不需要使用one-hot编码来处理的情况

————————————————————————————————————————

将离散型特征进行one-hot编码的作用&＃xff0c;是为了让距离计算更合理&＃xff0c;但如果特征是离散的&＃xff0c;并且不用one-hot编码就可以很合理的计算出距离&＃xff0c;那么就没必要进行one-hot编码。

比如&＃xff0c;该离散特征共有1000个取值&＃xff0c;我们分成两组&＃xff0c;分别是400和600,两个小组之间的距离有合适的定义&＃xff0c;组内的距离也有合适的定义&＃xff0c;那就没必要用one-hot 编码。

离散特征进行one-hot编码后&＃xff0c;编码后的特征&＃xff0c;其实每一维度的特征都可以看做是连续的特征。就可以跟对连续型特征的归一化方法一样&＃xff0c;对每一维特征进行归一化。比如归一化到[-1,1]或归一化到均值为0,方差为1。