[源码和文档分享]基于C++实现的ID3算法

1、算法描述

ID3算法是以信息熵下降速度作为选取测试属性的标准的&＃xff0c;决策树生成算法。

信息熵的下降速度用信息增益度来衡量其定义是&＃xff1a;

定义1&＃xff1a;若存在n个相同概率的消息&＃xff0c;则每个消息的概率p是1/n&＃xff0c;一个消息传递的信息量为Log2(1/n)

定义2&＃xff1a;若有n个消息&＃xff0c;其给定概率分布为P&＃61;(p1,p2…pn)&＃xff0c;则由该分布传递的信息量称为P的熵&＃xff0c;记为

​

参考文档和完整的文档和源码下载地址&＃xff1a;

https://www.write-bug.com/article/2293.html