熵(entropy)&＃xff1a;无损编码事件信息的最小平均编码长度

对每个可能性事件进行编码&＃xff0c;计算他们的编码长度&＃xff0c;最短的为熵

类似哈夫曼树&＃xff0c;编码不能有二义性&＃xff1a;

        例&＃xff1a;四种事件的编码分别为 10、11、 1、110&＃xff0c;前两种编码和后两种编码都可组成1110的编码段

熵的计算公式&＃xff1a;

        此例的熵为

​​​​​​​

&＃61;1.75,与方法3相同

交叉熵

我们用实际的概率分布y和预测的概率分布y_hat进行交叉熵运算

例题&＃xff1a;动物数据集中有四种动物&＃xff0c;每张照片的label都为one-hot编码

独热编码(one-hot encoding)&＃xff1a;一个向量&＃xff0c;分量和输出类别一样多&＃xff0c;类别对应的分量为1其他为0

熵&＃xff1a;

若两不同模型对猫的照片进行预测

模型1的交叉熵&＃xff1a;

模型2的交叉熵&＃xff1a;

交叉熵越小离熵越近&＃xff0c;越准确