分类决策树考虑了经验风险吗_实用数学|ID3决策树

决策树的优缺点&＃xff1a;

优点&＃xff1a;直观&＃xff0c;便于理解&＃xff0c;小规模数据集有效。

缺点&＃xff1a;处理连续变量不好&＃xff1b;类别较多时&＃xff0c;错误增加的比较快(算法复杂度大)&＃xff1b;可规模性一般。

变量的不确定性越大&＃xff0c;熵也就越大&＃xff0c;信息熵的取值范围是0到1之间。

条件熵&＃xff1a;

条件熵H(Y|X)表示在已知随机变量X的条件下&＃xff0c;随机变量Y的不确定性。随机变量X给定的条件下随机变量Y的条件熵H(Y|X)&＃xff0c;定义为X给定条件下Y的条件概率分布的熵对X的数学期望&＃xff1a;

当熵和条件熵中的概率由数据估计得到时(如极大似然估计)&＃xff0c;所对应的熵与条件熵分别称为经验熵和经验条件熵。

信息增益&＃xff1a;

资料来源

https://baike.baidu.com/item/ID3算法/5522381?fr&＃61;aladdin

https://my.oschina.net/u/3470937/blog/3009396

https://shuwoom.com/?p&＃61;1452

https://baike.baidu.com/item/贪心算法/5411800?fr&＃61;aladdin

本期文案|芃

本期排版|芃

实用数学|超级实用的距离判别法

实用数学| 排队论模型的简介与构建

实用数学|第十期  最短路径模型