[数据预处理]onehot编码

网上关于One-hot编码的例子都来自于同一个例子&＃xff0c;而且结果来的太抖了。查了半天&＃xff0c;终于给搞清楚这个独热编码是怎么回事了&＃xff0c;其实挺简单的&＃xff0c;这里再做个总结。
首先&＃xff0c;引出例子&＃xff1a;

已知三个feature&＃xff0c;三个feature分别取值如下&＃xff1a;
feature1&＃61;[“male”, “female”]
feature2&＃61;[“from Europe”, “from US”, “from Asia”]
feature3&＃61;[“uses Firefox”, “uses Chrome”, “uses Safari”, “uses Internet Explorer”]
如果做普通数据处理&＃xff0c;那么我们就按0,1,2,3进行编号就行了。例如feature1&＃61;[0&＃xff0c;1],feature2&＃61;[0&＃xff0c;1&＃xff0c;2],feature3&＃61;[0&＃xff0c;1&＃xff0c;2&＃xff0c;3]。
那么&＃xff0c;如果某个样本为[“male”,“from Asia”, “uses Chrome”]&＃xff0c;它就可以表示为[0&＃xff0c;2&＃xff0c;1]。
以上为普通编码方式。
独热编码(One-hot)换了一种方式编码&＃xff0c;先看看百科定义的&＃xff1a;

独热编码即 One-Hot 编码&＃xff0c;又称一位有效编码&＃xff0c;其方法是使用N位状态寄存器来对N个状态进行编码&＃xff0c;每个状态都有它独立的寄存器位&＃xff0c;并且在任意时候&＃xff0c;其中只有一位有效。
例如对六个状态进行编码&＃xff1a;
自然顺序码为 000,001,010,011,100,101
独热编码则是 000001,000010,000100,001000,010000,100000
通过以上可以看到&＃xff0c;独热编码每一个码的总的位数取决于状态的种类数&＃xff0c;每一个码里的“1”的位置&＃xff0c;就代表了哪个状态生效。
还是回到我们最开始的例子&＃xff0c;那么我们将它换成独热编码后&＃xff0c;应该是&＃xff1a;
feature1&＃61;[01,10]
feature2&＃61;[001,010,100]
feature3&＃61;[0001,0010,0100,1000]
所以&＃xff0c;对于前边样本[“male”,“from Asia”, “uses Chrome”]&＃xff0c;经过独热编码后&＃xff0c;它应该为&＃xff1a;
[01,00, 000,000,100, 0000,0010,0000,0000]
注&＃xff1a;上边用空格&＃xff0c;以便看的更清晰。

以上的独热编码可以写成简写形式&＃xff1a; [1,0, 0,0,1, 0,1,0,0]

最后&＃xff0c;摘抄下独热编码的好处&＃xff1a;

由于分类器往往默认数据数据是连续的&＃xff0c;并且是有序的&＃xff0c;但是在很多机器学习任务中&＃xff0c;存在很多离散&＃xff08;分类&＃xff09;特征&＃xff0c;因而将特征值转化成数字时&＃xff0c;往往也是不连续的&＃xff0c; One-Hot 编码解决了这个问题。
并且&＃xff0c;经过独热编码后&＃xff0c;特征变成了稀疏的了。这有两个好处&＃xff0c;一是解决了分类器不好处理属性数据的问题&＃xff0c;二是在一定程度上也起到了扩充特征的作用。