lightgbm过去版本安装包_集成学习算法LightGBM

LightGBM

在Kaggle&＃xff0c;KDD等各类数据竞赛中&＃xff0c;无论是分类问题还是回归问题亦或是排序问题&＃xff0c;以GBDT&＃xff08;分类回归决策树&＃xff09;为基础的梯度提升树&＃xff0c;如XGBoost、LightGBM、Thunder Boost等均占有无撼动的主导地位。尤其是在数据维度&＃xff08;属性&＃xff09;较少时&＃xff0c;特征工程加XGBoost的pipeline几乎已经成为了各类比赛的冠军方案。不得不说先验知识再加上“分而治之”的方法在特征维数较低且易于表示时仍然具有“解释性好”、精度高、速度快等深度神经网络无法媲美的优点&＃xff08;深度神经网络真正取得突破的是在图像和语音这类特征抽象&＃xff0c;表征困难其过去进步较小的领域&＃xff0c;而NLP中深度网取得的进步仍然有限&＃xff0c;这一方要归咎于数据量的不足&＃xff0c;但还有一点是语言的学习从小开始&＃xff0c;其已经拥有大量的人工知识&＃xff09;。

Introduction

首先简单的回顾GBDT的思想&＃xff08;更加详细的介绍可以参看我的这篇笔记&＃xff09;

对于决策树的构建主要分为两类方法&＃xff0c;即深度优先&＃xff08;损失更小&＃xff0c;与广度优先相比&＃xff0c;在leaf数目相同时树根深&＃xff0c;因此容易造成过拟合&＃xff0c;但是构建过程更加灵活且容易在大规模数据集上使用&＃xff09;和广度优先&＃xff08;树的构建更加平衡&＃xff0c;但是精度较差&＃xff09;&＃xff0c;决策树通过“分而治之”的思想将样本进行分类。在决策树构建的过程中最困难且最耗时的就是结点的分裂&＃xff0c;这里不同的分裂策略即对应了不同版本的决策树&＃xff0c;如根据信息增益构建ID3&＃xff0c;根据信息增益率构建C4.5&＃xff0c;根据Gini index构建CART等&＃xff0c;split策略的不同也将带来decision tree的不同偏好。然而单一的决策树其性能有限&＃xff0c;且容易造成过拟合&＃xff0c;而通过剪枝或限制树深等手段虽然能在一定程度上缓解overfitting&＃xff0c;但是其精度也将受到损失。因此&＃xff0c;研究人员便以决策树为基学习器&＃xff0c;通过集成的思想来提升模型的性能&＃xff0c;梯度提升决策树就是典型代表&＃xff0c;此外包括AdaBoost、Random Forest等均被广泛采用。

GBDT通过迭代生成每一棵树&＃xff0c;每次迭代中通过拟合前一棵树的残差使得精度不断提高&＃xff0c;而树的构建则是使损失函数的负梯度方向为指导原则。然而在每次计算最佳split point时算法需要遍历所有数据计算split criterion&＃xff0c;这严重制约了算法的速度&＃xff0c;因此我们有必要对此改进。

Algorithm

无论是XGB还是LGB均以GBDT为基础&＃xff0c;而GBDT构建的最大困难即使分裂点的选择&＃xff0c;而原始的做法需要算法遍历每一属性的所有数据点计算寻找最优解&＃xff0c;该操作的复杂度为

&＃xff0c;因此当数据量较大且特征较多时&＃xff0c;其成本将难以接受。同时我们也观察到&＃xff0c;算法时间成本与分裂次数正相关而分裂过程中的微小改变不会引起结果的巨大变化&＃xff0c;因此基于直方图的分裂方法则是将特征值划分为块&＃xff0c;以bin为最小单位进行分裂而不直接对每个特征值进行计算。此操作直接将算法的复杂度减小为

&＃xff0c;同时内存空间也显著减少&＃xff0c;然而对于bin数量的选择将带来速度与精度的trade-off。此外&＃xff0c;bin的划分方式也多种多样&＃xff0c;最简单的则是等间隔划分&＃xff0c;然而对于分布不平衡的数据这将带来很大问题。故XGBoost对于bin的划分则采用gradient statistics的策略&＃xff0c;使其更加平衡。另外&＃xff0c;在split过程中经常会出现数据稀疏的问题&＃xff0c;XGB和LGB则均是首先忽略所有0元素&＃xff0c;然后将缺失数据分配至分割的任意一边&＃xff0c;以减少损失加快训练速度。

相较于XGBoost&＃xff0c;LightBoost最大的改进啊包括以下两点&＃xff1a;

• Subsampling the data: Gradient-based One-Side Sampling(GOSS)
• Exclusive Feature Bundling(EFB)

&＃xff08;1&＃xff09;GOSS

对于所有的数据样本&＃xff0c;其在树的训练过程中贡献度大小不一&＃xff0c;拥有较小提度提升的样本意味着其已被拟合的足够好&＃xff0c;因此贡献程度较小&＃xff0c;而我们真正需要关注的是那先梯度较大的样本。因此最简单的想法是在计算分裂时对数据进行采样&＃xff0c;忽略那些梯度较小的数据。然而该操作将带来改变数据分布的风险&＃xff0c;而使得习得的模型将有所偏好。因此为缓和或避免这一风险&＃xff0c;LGB同时也在梯度较小的样本中进行随机采样&＃xff0c;同时在计算其对损失的contribution时&＃xff0c;赋予更大的权重。故GOSS本质上是一种对任意分布依照重要度进行采样的技术。

从上图可以看出&＃xff0c;对于梯度较小的数据我们从中随机采样&＃xff0c;比利为“

”&＃xff0c;同时为其赋予权值

。而对于梯度较大的数据我们则选择loss提升最大的前“

”个样本。

&＃xff08;2&＃xff09;EFB

此外&＃xff0c;原始高维数据一般较为稀疏&＃xff0c;即其中存在大量相互依存或相互排斥的特征&＃xff08;多个特征不能同时取非0值&＃xff0c;one-hot编码&＃xff09;&＃xff0c;这就启示我们可以将多个特征进行合并&＃xff08;“bundled”&＃xff09;处理而不损失任何信息&＃xff08;类似PCA&＃xff09;。然而在所有的特征中找到最有效的bundle方式是NP难问题&＃xff0c;因此作者将其转化为图着色的问题&＃xff0c;则使用了一种近似的贪心算法&＃xff0c;即允许特征间存在一定的重叠&＃xff08;个特征并非完全独立&＃xff09;&＃xff0c;如下&＃xff1a;

如上图所示&＃xff0c;我们以每个feature作为图节点&＃xff0c;将各feature间的总冲突&＃xff08;反映特征间的互斥程度&＃xff09;作为边&＃xff0c;构建图。特征的合并问题即转化寻找最小bundles的问题&＃xff08;允许一定的重叠&＃xff09;。而当bundles确定后&＃xff0c;每一个bundle其各个特征的取值范围都会有所差别&＃xff0c;所以在进行特征融合时为使各个特征取值不发生重叠&＃xff08;即保证各特征的差异性&＃xff09;&＃xff0c;我们对其进行偏置处理&＃xff0c;重新分配各特征的取值范围以保证各特征间取值互不相同&＃xff0c;然后进行合并。

从上图可以明显看出feature1与feature2明显互斥&＃xff0c;因此我们对其进行EFB操作&＃xff0c;可以看到feature1的取值范围为[1,4]&＃xff08;0为nan&＃xff09;&＃xff0c;为确保合并后各原始特征不发生重叠&＃xff0c;因此我们将feature2加上4&＃xff08;feature1的最大值&＃xff0c;bundle size&＃xff09;的偏置&＃xff0c;然后进行合并。该操作使得合并后的feature bundle仍能完成保留feature1和feature2的特征差异&＃xff0c;即feature_bundle的5&＃xff0c;6代表表feature2&＃xff0c;1-4代表feature2。

综上&＃xff0c;通过对梯度提升较小样本进行随机采样操作和合并相关属性操作&＃xff0c;LightGBM在保证精度的前提下获得了一定的加速。

Conclusion

当前在深度网络这种连接主义“红得发紫”的时代&＃xff0c;以决策树为代表的符号主义其主要采用“分而治之”的思想&＃xff0c;即通过选择不同的属性指标&＃xff0c;并将其以某种方式组合&＃xff0c;从而实现样本的分类。其中树的构建采用一种深度优先的算法&＃xff0c;在树构建的过程中一般希望通过尽可能少的指标组合来竟可能的区分样本&＃xff0c;即希望决策树的分支结点包含的样本尽可能属于同一类别&＃xff0c;结点的“纯度”越来越高。为了量化纯度的和纯度提升的大小&＃xff0c;这里定义信息熵、信息增益和基尼系数来直观反映。其中&＃xff0c;ID3决策树学习算法是以信息增益为准则来划分属性&＃xff0c;而信息增益可能会对取值数目较多的属性有所偏好&＃xff0c;这将有可能导致模型过拟合&＃xff0c;即模型的泛华能力受到影响&＃xff0c;为缓解这种影响&＃xff0c;故又定义了信息增益率&＃xff0c;然而信息增益率通常会对取值数目较少的属性有所偏好&＃xff0c;因此一般算法首先从候选的划分属性中找出信息增益高于平均水平的属性&＃xff0c;然后在从中选择增益率最高的属性。著名的C4.5决策树即采用“增益率”来选择最有划分属性。此外&＃xff0c;相较于信息增益和信息增益率&＃xff0c;基尼系数是另一种属性划分方法&＃xff0c;我们可以使用Gini index构建二叉树&＃xff0c;如著名的GBDT、XGBoost、LightGBM等。此外在树的构建过程为防止过拟合一般可以采用前剪枝和后剪枝处理。

然而&＃xff0c;单棵树的拟合能力毕竟有限&＃xff0c;为提高模型的分类能力则一般采用集成策略。集成分为同质学习&＃xff08; 个体学习器类型相同&＃xff09;和异质学习&＃xff08;个体学习器类型不同&＃xff09;&＃xff0c;而针对集成方法的不同其又可以分为串行集成Boosting&＃xff0c;即个体学习器间存在强依赖的关系&＃xff0c;后一个学习器的生成需依赖前一个学习器的结果&＃xff1b;并行集成Bagging&＃xff0c;即个体学习器间不存在依赖关系&＃xff0c;可以同时训练多个学习器&＃xff0c;适合分布式并行计算。并行集成相较于串行集成其最大的优点就是速度快&＃xff0c;但是其精度将会有所损失。

在Boosting算法簇中&＃xff0c;其主要代表包括AdaBoost、GBDT、XGBoost及其改进等。其工作机制大致为&＃xff1a;①从初始训练集中训练出一个基学习器&＃xff1b;②根据基学习器的性能表现调整样本分布&＃xff0c;使得分类错误的样本在后续的训练中得到更多的关注&＃xff1b;③基于调整后的样本调整训练下一个基学习器&＃xff1a;④重复步骤①、②直至基学习器达到指定数目&＃xff1b;⑤对基学习器预测结果进行加权融合&＃xff0c;输出。如AdaBoost则是首先初始化样本权值分布&＃xff0c;训练初始基学习器&＃xff0c;并根据学习器分类结果赋予其权值&＃xff0c;同时调整样本分布权值。然后根据样本分布不断训练基学习器&＃xff0c;并不断调样本分布权值。最后&＃xff0c;根据多个基学习器的权值将各个分类器的结果加权输出。而GBDT则是以CART为分类器的Boosting算法&＃xff0c;其本质上也是一个加法模型。XGBoost与GBDT相比&＃xff0c;其主要区别在于&＃xff1a;①误差函数考虑二阶泰勒展开&＃xff0c;因此收敛更快&＃xff1b;②损失函数中引入正则化项&＃xff0c;对树的复杂程度进行惩罚&＃xff0c;以避免过拟合的发生。此外由于XGBoost在每次结点的分裂时均需要遍历所有数据&＃xff0c;这样即造成了时间成本和空间成本较高的缺陷&＃xff0c;于是在此基础上则有发展出了更快的梯度提升方法&＃xff0c;LightGBM。LightGBM与XGBoost相比最大的改进在于其引入了GOSS和EFB操作&＃xff0c;即对梯度提升较小的样本进行随机采样同时对相关特征进行融合&＃xff0c;其在保证精度的前提下减少了算法的计算时间和存储空间。

相较于Boosting&＃xff0c;Bagging则是典型的并行集成方法&＃xff0c;其主要思想是通过拔靴法&＃xff08;有放回采样&＃xff09;随机抽取多个样本集同时训练多个分类器&＃xff0c;进行集成。Bagging算法效率较高&＃xff0c;其时间复杂度与训练基学习器同阶。此外Bagging还能很好的适用于回归和多分类等问题&＃xff0c;其中随机森林算法被广泛使用。随机森林主要思想是在样本随机选择的同时&＃xff0c;多棵决策树的构建过程中每棵决策树的属性的选择也随机&＃xff0c;然后根据选择属性构建最优决策树进行集成。这样基学习器的多样性不仅来自于样本的扰动&＃xff0c;同时还来自属性的扰动&＃xff0c;也就是说&＃xff0c;随机森林的随机性主要体现在两个方面&＃xff1a;&＃xff08;1&＃xff09;样本的随机选择&＃xff08;2&＃xff09; 属性的随机选择。因此随机森林最终集成的泛华性能和个体学习器的差异进一步加大。此外&＃xff0c;由于随机森林每棵树的训练都是独立的&＃xff0c;其并不依赖前一棵树的分类结果&＃xff0c;因此随机森林天生就适应并行&＃xff0c;故其训练效率和模型的泛化误差往往均优于Boosting&＃xff0c;然而该模型的精度较低&＃xff08;一般情况下低于Boosting几个百分点&＃xff09;。

总而言之&＃xff0c;集成学习的思想已被各类学习器借鉴吸收&＃xff0c;此外在工程实践中其也得到了广泛的使用。

Reference

[1] keitakurita. LightGBM and XGBoost Explained