【面试必备】XGBoost优点解析

1. 二阶导数信息
GBDT在优化时只用到了一阶导数信息&＃xff0c;而XGBoost则对损失函数进行了二阶泰勒展开&＃xff0c;同时用到了一阶和二阶导数。




2. 防止过拟合
&＃xff08;1&＃xff09;正则项
XGBoost在代价函数里添加了正则项&＃xff0c;用于控制模型的复杂度。正则项包括叶子结点的个数以及叶子节点值的L2范数。从Bias-variance tradeoff的角度来讲&＃xff0c;增大偏差&＃xff0c;减小方差。

&＃xff08;2&＃xff09;shrinkage
XGBoost在每次学习得到一棵新的子树之后&＃xff0c;会将叶子结点的值乘上一个大于0小于1的数&＃xff0c;目的是为了削弱每一棵子树对整体模型的影响&＃xff0c;让后面有更大的学习空间。
&＃xff08;3&＃xff09;column subsampling
XGBoost借鉴了随机森林的思想&＃xff0c;支持列抽样&＃xff0c;即特征随机性&＃xff0c;不仅能有效地防止过拟合&＃xff0c;还能加速计算。

3. 并行计算
&＃xff08;1&＃xff09;block结构
这里的并行计算并不是指树粒度上的并行&＃xff0c;而是指特征粒度上的并行。XGBoost在训练之前&＃xff0c;首先将数据的全部特征进行了排序&＃xff0c;并保存为block结构&＃xff0c;因此在寻找最佳分割点时&＃xff0c;可以同时对多个特征进行求解。
&＃xff08;2&＃xff09;近似直方图法
相比于GBDT采用贪心算法来计算最佳分割点&＃xff0c;XGBoost在计算最佳分割点时采用近似直方图法&＃xff0c;先提出候选分割点&＃xff0c;并行计算得到最佳分割点所在的区间&＃xff0c;然后在该区间内的所有可能分割点中选择最佳分割点。

4. 缺失值处理
&＃xff08;1&＃xff09;训练时
XGBoost在寻找最佳分割点时不会考虑缺失值的影响&＃xff0c;而在最佳分割点确定之后会将缺失数据分别放到左子树和右子树中计算损失&＃xff0c;并选择较优的那一个。
&＃xff08;2&＃xff09;预测时
如果在预测时出现了缺失数据&＃xff0c;XGBoost会自动将其分到右子树。