机器学习经典算法（3）决策树

欢迎关注博主的公众号&＃xff1a;happyGirl的异想世界。有更多干货还有技术讨论群哦~

越在根节点&＃xff08;父节点&＃xff09;的信息越重要&＃xff0c;也就是其信息增益越大&＃xff0c;信息增益的大小可以用信息熵公式进行计算&＃xff1a;

举个可能不够恰当的例子。我们目前有如下数据&＃xff0c;分类结果&＃xff08;叶节点&＃xff09;为  下雨 / 晴天&＃xff1a;

分类结果的信息熵&＃xff08;下雨 或 晴天 这个数据 的信息熵&＃xff09;&＃xff1a;

-(1/2 * log(1/2) &＃43; 1/2 * log(1/2)) &＃61; 0.301&＃xff08;下雨 晴天 各6天&＃xff0c;概率p均为1/2&＃xff09;

太阳&＃xff08;父节点&＃xff09;的有无&＃xff08;条件&＃xff09;对分类结果&＃xff08;下雨、晴天&＃xff09;的影响:

         有太阳&＃xff1a; -(1*log(1)&＃43;0*log0))&＃61;0  &＃xff08;有太阳的5天都是晴天&＃xff09;

         无太阳&＃xff1a; -(1/7 * log(1/7)&＃43;6/7 * log(6/7)) &＃61; 0.178 &＃xff08;没他要的7天里&＃xff0c;1天是晴天&＃xff0c;6天是下雨&＃xff09;

我们需要计算这个因素&＃xff08;太阳&＃xff09;重要与否&＃xff0c;需要用到条件熵&＃xff0c;公式如下&＃xff1a;

条件熵: 5/12 * 0 &＃43; 7/12 * 0.178 &＃61; 0.103&＃xff08;一共12天&＃xff0c;其中有太阳的5天的信息熵为0&＃xff0c;无太阳的7天的信息熵为0.178&＃xff09;

参考文献&＃xff1a;

百面机器学习P61-71

https://baike.baidu.com/item/%E4%BF%A1%E6%81%AF%E7%86%B5/7302318