CART决策树与随机森林详解

CART决策树

1. 分裂准则

   • CART通过计算每个潜在分裂点的基尼指数（Gini Index）来决定如何将当前节点的数据集分为两个子集。基尼指数越小，说明纯度越高。
   • 基尼指数的计算公式为：$$gini_{child} = 1 - \sum_{i=1}^{K} p_{ti}^2$$ 其中，K代表类别总数，而$p_{ti}$则表示子集中属于第i类的比例。
   • 分裂后整体基尼指数的计算方式为：$$gini_s = \frac{N_1}{N} gini_{child_1} + \frac{N_2}{N} gini_{child_2}$$ 其中N为分裂前的数据总量，$N_1$和$N_2$分别为分裂后两个子集的数据量。
   • 选择能够使$gini_s$值最小的特征和分裂点来进行实际的分裂操作。

2. 防止过拟合的措施

   • 限制树的最大深度（max_depth参数），避免树过于复杂。
   • 规定每个叶节点至少需要包含的样本数量（min_samples_leaf参数），确保有足够的数据支持决策。
   • 采用剪枝技术，去除不必要的分支，简化模型结构。

3. 解决样本不均衡的问题

   • 当训练集中某些类别的样本数量远少于其他类别时，可以通过为这些少数类分配更高的权重（class_weight参数）来平衡各类别之间的影响力。具体来说，可以通过调整每个类别的权重来影响基尼指数的计算，如：$$p_{ti} = \frac{w_{i} m_i}{\sum_{i=1}^{K} w_{i} m_i}$$ 其中$m_i$是子集中属于第i类的样本数。

4. 应用于回归问题

   • 在回归任务中，CART同样适用，但其分裂标准从基尼指数转变为均方误差（Mean Squared Error, MSE）。MSE的定义为：$$MSE_{child} = \frac{1}{N_{child}} \sum_{i \in child} (y_i - \bar{y}_{child})^2$$ 这里，$\bar{y}_{child}$表示子集中所有样本的平均值。

随机森林

1. 引入随机性

   • 随机森林通过从原始数据集中有放回地抽取N个样本（bootstrap方法）来构建每棵树，这有助于提高模型的泛化能力。
   • 在每次分裂时，仅从所有可能的特征中随机选择一部分作为候选（max_features参数），增加了模型的多样性。

2. 处理样本不均衡

   • 与CART类似，随机森林也允许通过设置class_weight参数来应对样本不平衡的情况，确保所有类别都能得到合理的关注。

3. 利用OOB估计评估性能

   • OOB（Out-Of-Bag）估计是一种评估随机森林性能的有效方法。它基于未参与特定树构建的样本（即袋外样本）来进行预测，并据此计算模型的整体准确性。
   • OOB估计的有效性依赖于bootstrap参数是否开启，因为只有在这种情况下，每个样本才有可能成为其他树的袋外样本。

4. 衡量特征重要性

   • 在构建CART的过程中，如果某个特征在多次分裂中显著降低了基尼指数或MSE，则认为该特征较为重要。
   • 随机森林汇总了所有单个树的特征重要性得分，提供了对各特征整体贡献度的综合评价（feature_importances_属性）。