本文的主要内容概览&＃xff1a;
XGBoost的全称是eXtreme Gradient Boosting&＃xff0c;它是经过优化的分布式梯度提升库&＃xff0c;旨在高效、灵活且可移植。XGBoost是大规模并行boosting tree的工具&＃xff0c;它是目前最快最好的开源 boosting tree工具包&＃xff0c;比常见的工具包快10倍以上。在数据科学方面&＃xff0c;有大量的Kaggle选手选用XGBoost进行数据挖掘比赛&＃xff0c;是各大数据科学比赛的必杀武器&＃xff1b;在工业界大规模数据方面&＃xff0c;XGBoost的分布式版本有广泛的可移植性&＃xff0c;支持在Kubernetes、Hadoop、SGE、MPI、 Dask等各个分布式环境上运行&＃xff0c;使得它可以很好地解决工业界大规模数据的问题。本文将从XGBoost的数学原理和工程实现上进行介绍&＃xff0c;然后介绍XGBoost的优缺点&＃xff0c;并在最后给出面试中经常遇到的关于XGBoost的问题。
2. XGBoost的原理推导XGBoost和GBDT两者都是boosting方法&＃xff0c;除了工程实现、解决问题上的一些差异外&＃xff0c;最大的不同就是目标函数的定义。因此&＃xff0c;本文我们从目标函数开始探究XGBoost的基本原理。
XGBoost是由 个基模型组成的一个加法模型&＃xff0c;假设我们第 次迭代要训练的树模型是 &＃xff0c;则有&＃xff1a;
损失函数可由预测值 与真实值 进行表示&＃xff1a;
其中&＃xff0c; 为样本的数量。
我们知道模型的预测精度由模型的偏差和方差共同决定&＃xff0c;损失函数代表了模型的偏差&＃xff0c;想要方差小则需要在目标函数中添加正则项&＃xff0c;用于防止过拟合。所以目标函数由模型的损失函数 与抑制模型复杂度的正则项 组成&＃xff0c;目标函数的定义如下&＃xff1a;
其中&＃xff0c; 是将全部 棵树的复杂度进行求和&＃xff0c;添加到目标函数中作为正则化项&＃xff0c;用于防止模型过度拟合。
由于XGBoost是boosting族中的算法&＃xff0c;所以遵从前向分步加法&＃xff0c;以第 步的模型为例&＃xff0c;模型对第 个样本 的预测值为&＃xff1a;
其中&＃xff0c; 是由第 步的模型给出的预测值&＃xff0c;是已知常数&＃xff0c; 是这次需要加入的新模型的预测值。此时&＃xff0c;目标函数就可以写成&＃xff1a;
注意上式中&＃xff0c;只有一个变量&＃xff0c;那就是第 棵树 &＃xff0c;其余都是已知量或可通过已知量可以计算出来的。细心的同学可能会问&＃xff0c;上式中的第二行到第三行是如何得到的呢&＃xff1f;这里我们将正则化项进行拆分&＃xff0c;由于前 棵树的结构已经确定&＃xff0c;因此前 棵树的复杂度之和可以用一个常量表示&＃xff0c;如下所示&＃xff1a;
泰勒公式是将一个在 处具有 阶导数的函数 利用关于 的 次多项式来逼近函数的方法。若函数 在包含 的某个闭区间 上具有 阶导数&＃xff0c;且在开区间 上具有 阶导数&＃xff0c;则对闭区间 上任意一点 有&＃xff1a;
其中的多项式称为函数在 处的泰勒展开式&＃xff0c; 是泰勒公式的余项且是 的高阶无穷小。
根据泰勒公式&＃xff0c;把函数 在点 处进行泰勒的二阶展开&＃xff0c;可得如下等式&＃xff1a;
回到XGBoost的目标函数上来&＃xff0c; 对应损失函数 &＃xff0c; 对应前 棵树的预测值 &＃xff0c; 对应于我们正在训练的第 棵树 &＃xff0c;则可以将损失函数写为&＃xff1a;
其中&＃xff0c; 为损失函数的一阶导&＃xff0c; 为损失函数的二阶导&＃xff0c;注意这里的求导是对 求导。
我们以平方损失函数为例&＃xff1a;
则&＃xff1a;
将上述的二阶展开式&＃xff0c;带入到XGBoost的目标函数中&＃xff0c;可以得到目标函数的近似值&＃xff1a;
由于在第 步时 其实是一个已知的值&＃xff0c;所以 是一个常数&＃xff0c;其对函数的优化不会产生影响。因此&＃xff0c;去掉全部的常数项&＃xff0c;得到目标函数为&＃xff1a;
所以我们只需要求出每一步损失函数的一阶导和二阶导的值(由于前一步的 是已知的&＃xff0c;所以这两个值就是常数)&＃xff0c;然后最优化目标函数&＃xff0c;就可以得到每一步的 &＃xff0c;最后根据加法模型得到一个整体模型。
我们知道XGBoost的基模型不仅支持决策树&＃xff0c;还支持线性模型&＃xff0c;本文我们主要介绍基于决策树的目标函数。我们可以重新定义一棵决策树&＃xff0c;其包括两个部分&＃xff1a;
实例(样本)到叶子结点的映射关系 (本质是树的分支结构)&＃xff1b;
决策树的复杂度 可由叶子数 组成&＃xff0c;叶子节点越少模型越简单&＃xff0c;此外叶子节点也不应该含有过高的权重 (类比 LR 的每个变量的权重)&＃xff0c;所以目标函数的正则项由生成的所有决策树的叶子节点数量&＃xff0c;和所有节点权重所组成的向量的 范式共同决定。
我们将属于第 个叶子结点的所有样本 划入到一个叶子结点的样本集合中&＃xff0c;数学表示为&＃xff1a; &＃xff0c;那么XGBoost的目标函数可以写成&＃xff1a;
上式中的第二行到第三行可能看的不是特别明白&＃xff0c;这里做些解释&＃xff1a;第二行是遍历所有的样本后求每个样本的损失函数&＃xff0c;但样本最终会落在叶子节点上&＃xff0c;所以我们也可以遍历叶子节点&＃xff0c;然后获取叶子节点上的样本集合&＃xff0c;最后再求损失函数。即我们之前是单个样本&＃xff0c;现在都改写成叶子结点的集合&＃xff0c;由于一个叶子结点有多个样本存在&＃xff0c;因此才有了 和 这两项&＃xff0c; 为第 个叶子节点取值。
为简化表达式&＃xff0c;我们定义 &＃xff0c; &＃xff0c;含义如下&＃xff1a;
将 和 带入XGBoost的目标函数&＃xff0c;则最终的目标函数为&＃xff1a;
这里我们要注意 和 是前 步得到的结果&＃xff0c;其值已知可视为常数&＃xff0c;只有最后一棵树的叶子节点 不确定。
回忆一下初中数学知识&＃xff0c;假设有一个一元二次函数&＃xff0c;形式如下&＃xff1a;
我们可以套用一元二次函数的最值公式轻易地求出最值点&＃xff1a;
那么回到XGBoost的最终目标函数上 &＃xff0c;该如何求出它的最值呢&＃xff1f;
我们先简单分析一下上面的式子&＃xff1a;
在2.1.5中我们提到&＃xff0c; 和 相对于第 棵树来说是可以计算出来的。那么&＃xff0c;这个式子就是一个只包含一个变量叶子结点权重 的一元二次函数&＃xff0c;我们可以通过最值公式求出它的最值点。
那么&＃xff0c;假设目前树的结构已经固定&＃xff0c;套用一元二次函数的最值公式&＃xff0c;将目标函数对 求一阶导&＃xff0c;并令其等于 &＃xff0c;则可以求得叶子结点 对应的权值&＃xff1a;
所以目标函数可以化简为&＃xff1a;
上图给出目标函数计算的例子&＃xff0c;求每个节点每个样本的一阶导数 和二阶导数 &＃xff0c;然后针对每个节点对所含样本求和得到 和 &＃xff0c;最后遍历决策树的节点即可得到目标函数。
在实际训练过程中&＃xff0c;当建立第 棵树时&＃xff0c;一个非常关键的问题是如何找到叶子节点的最优切分点&＃xff0c;XGBoost支持两种分裂节点的方法——贪心算法和近似算法。
从树的深度为0开始&＃xff1a;
那么如何计算每个特征的分裂收益呢&＃xff1f;
假设我们在某一节点完成特征分裂&＃xff0c;则分裂前的目标函数可以写为&＃xff1a;
分裂后的目标函数为&＃xff1a;
则对于目标函数来说&＃xff0c;分裂后的收益为&＃xff1a;
注意&＃xff1a; 该特征收益也可作为特征重要性输出的重要依据。
对于每次分裂&＃xff0c;我们都需要枚举所有特征可能的分割方案&＃xff0c;如何高效地枚举所有的分割呢&＃xff1f;
假设我们要枚举某个特征所有 这样条件的样本&＃xff0c;对于某个特定的分割点 我们要计算 左边和右边的导数和。
我们可以发现对于所有的分裂点 &＃xff0c;只要做一遍从左到右的扫描就可以枚举出所有分割的梯度和 、 。然后用上面的公式计算每个分割方案的收益就可以了。
观察分裂后的收益&＃xff0c;我们会发现节点划分不一定会使得结果变好&＃xff0c;因为我们有一个引入新叶子的惩罚项&＃xff0c;也就是说引入的分割带来的增益如果小于一个阀值的时候&＃xff0c;我们可以剪掉这个分割。
贪心算法可以得到最优解&＃xff0c;但当数据量太大时则无法读入内存进行计算&＃xff0c;近似算法主要针对贪心算法这一缺点给出了近似最优解。
对于每个特征&＃xff0c;只考察分位点可以减少计算复杂度。
该算法首先根据特征分布的分位数提出候选划分点&＃xff0c;然后将连续型特征映射到由这些候选点划分的桶中&＃xff0c;然后聚合统计信息找到所有区间的最佳分裂点。
在提出候选切分点时有两种策略&＃xff1a;
下图给出不同种分裂策略的AUC变化曲线&＃xff0c;横坐标为迭代次数&＃xff0c;纵坐标为测试集AUC&＃xff0c;eps为近似算法的精度&＃xff0c;其倒数为桶的数量。
从上图我们可以看到&＃xff0c; Global 策略在候选点数多时(eps 小)可以和 Local 策略在候选点少时(eps 大)具有相似的精度。此外我们还发现&＃xff0c;在eps取值合理的情况下&＃xff0c;分位数策略可以获得与贪心算法相同的精度。
近似算法简单来说&＃xff0c;就是根据特征 的分布来确定 个候选切分点 &＃xff0c;然后根据这些候选切分点把相应的样本放入对应的桶中&＃xff0c;对每个桶的 , 进行累加。最后在候选切分点集合上贪心查找。该算法描述如下&＃xff1a;
算法讲解&＃xff1a;
下图给出近似算法的具体例子&＃xff0c;以三分位为例&＃xff1a;
根据样本特征进行排序&＃xff0c;然后基于分位数进行划分&＃xff0c;并统计三个桶内的 , 值&＃xff0c;最终求解节点划分的增益。
实际上&＃xff0c;XGBoost不是简单地按照样本个数进行分位&＃xff0c;而是以二阶导数值 作为样本的权重进行划分。为了处理带权重的候选切分点的选取&＃xff0c;作者提出了Weighted Quantile Sketch算法。加权分位数略图算法提出了一种数据结构&＃xff0c;这种数据结构支持merge和prune操作。作者在论文中给出了该算法的详细描述和证明链接&＃xff0c;现在链接已经失效&＃xff0c;但是在arXiv的最新版XGBoost论文中APPENDIX部分有该算法详细的描述&＃xff0c;地址&＃xff1a;https://arxiv.org/abs/1603.02754 。现在我们简单介绍加权分位数略图侯选点的选取方式&＃xff0c;如下&＃xff1a;
那么为什么要用二阶梯度 进行样本加权&＃xff1f;
我们知道模型的目标函数为&＃xff1a;
我们把目标函数配方整理成以下形式&＃xff0c;便可以看出 有对 loss 加权的作用。
其中&＃xff0c;加入 是因为 和 是上一轮的损失函数求导与 constant 皆为常数。我们可以看到 就是平方损失函数中样本的权重。
实际工程中一般会出现输入值稀疏的情况。比如数据的缺失、one-hot编码都会造成输入数据稀疏。XGBoost在构建树的节点过程中只考虑非缺失值的数据遍历&＃xff0c;而为每个节点增加了一个缺省方向&＃xff0c;当样本相应的特征值缺失时&＃xff0c;可以被归类到缺省方向上&＃xff0c;最优的缺省方向可以从数据中学到。至于如何学到缺省值的分支&＃xff0c;其实很简单&＃xff0c;分别枚举特征缺省的样本归为左右分支后的增益&＃xff0c;选择增益最大的枚举项即为最优缺省方向。
在构建树的过程中需要枚举特征缺失的样本&＃xff0c;乍一看这个算法会多出相当于一倍的计算量&＃xff0c;但其实不是的。因为在算法的迭代中只考虑了非缺失值数据的遍历&＃xff0c;缺失值数据直接被分配到左右节点&＃xff0c;所需要遍历的样本量大大减小。作者通过在Allstate-10K数据集上进行了实验&＃xff0c;从结果可以看到稀疏算法比普通算法在处理数据上快了超过50倍。
在树生成过程中&＃xff0c;最耗时的一个步骤就是在每次寻找最佳分裂点时都需要对特征的值进行排序。而 XGBoost 在训练之前会根据特征对数据进行排序&＃xff0c;然后保存到块结构中&＃xff0c;并在每个块结构中都采用了稀疏矩阵存储格式(Compressed Sparse Columns Format&＃xff0c;CSC)进行存储&＃xff0c;后面的训练过程中会重复地使用块结构&＃xff0c;可以大大减小计算量。
作者提出通过按特征进行分块并排序&＃xff0c;在块里面保存排序后的特征值及对应样本的引用&＃xff0c;以便于获取样本的一阶、二阶导数值。具体方式如图&＃xff1a;
通过顺序访问排序后的块遍历样本特征的特征值&＃xff0c;方便进行切分点的查找。此外分块存储后多个特征之间互不干涉&＃xff0c;可以使用多线程同时对不同的特征进行切分点查找&＃xff0c;即特征的并行化处理。在对节点进行分裂时需要选择增益最大的特征作为分裂&＃xff0c;这时各个特征的增益计算可以同时进行&＃xff0c;这也是 XGBoost 能够实现分布式或者多线程计算的原因。
列块并行学习的设计可以减少节点分裂时的计算量&＃xff0c;在顺序访问特征值时&＃xff0c;访问的是一块连续的内存空间&＃xff0c;但通过特征值持有的索引(样本索引)访问样本获取一阶、二阶导数时&＃xff0c;这个访问操作访问的内存空间并不连续&＃xff0c;这样可能造成cpu缓存命中率低&＃xff0c;影响算法效率。
为了解决缓存命中率低的问题&＃xff0c;XGBoost 提出了缓存访问算法&＃xff1a;为每个线程分配一个连续的缓存区&＃xff0c;将需要的梯度信息存放在缓冲区中&＃xff0c;这样就实现了非连续空间到连续空间的转换&＃xff0c;提高了算法效率。此外适当调整块大小&＃xff0c;也可以有助于缓存优化。
当数据量非常大时&＃xff0c;我们不能把所有的数据都加载到内存中。那么就必须将一部分需要加载进内存的数据先存放在硬盘中&＃xff0c;当需要时再加载进内存。这样操作具有很明显的瓶颈&＃xff0c;即硬盘的IO操作速度远远低于内存的处理速度&＃xff0c;肯定会存在大量等待硬盘IO操作的情况。针对这个问题作者提出了“核外”计算的优化方法。具体操作为&＃xff0c;将数据集分成多个块存放在硬盘中&＃xff0c;使用一个独立的线程专门从硬盘读取数据&＃xff0c;加载到内存中&＃xff0c;这样算法在内存中处理数据就可以和从硬盘读取数据同时进行。此外&＃xff0c;XGBoost 还用了两种方法来降低硬盘读写的开销&＃xff1a;
本篇文章所有数据集和代码均在我的GitHub中&＃xff0c;地址&＃xff1a;https://github.com/Microstrong0305/WeChat-zhihu-csdnblog-code/tree/master/Ensemble%20Learning/XGBoost
pip install xgboost
XGBoost有两大类接口&＃xff1a;XGBoost原生接口 和 scikit-learn接口 &＃xff0c;并且XGBoost能够实现分类和回归两种任务。
from sklearn.datasets import load_irisimport xgboost as xgbfrom xgboost import plot_importancefrom matplotlib import pyplot as pltfrom sklearn.model_selection import train_test_split# read in the iris datairis &＃61; load_iris()X &＃61; iris.datay &＃61; iris.target# split train data and test dataX_train, X_test, y_train, y_test &＃61; train_test_split(X, y, test_size&＃61;0.2, random_state&＃61;1234565)# set XGBoost&＃39;s parametersparams &＃61; { &＃39;booster&＃39;: &＃39;gbtree&＃39;, &＃39;objective&＃39;: &＃39;multi:softmax&＃39;, # 回归任务设置为&＃xff1a;&＃39;objective&＃39;: &＃39;reg:gamma&＃39;, &＃39;num_class&＃39;: 3, # 回归任务没有这个参数 &＃39;gamma&＃39;: 0.1, &＃39;max_depth&＃39;: 6, &＃39;lambda&＃39;: 2, &＃39;subsample&＃39;: 0.7, &＃39;colsample_bytree&＃39;: 0.7, &＃39;min_child_weight&＃39;: 3, &＃39;silent&＃39;: 1, &＃39;eta&＃39;: 0.1, &＃39;seed&＃39;: 1000, &＃39;nthread&＃39;: 4,}plst &＃61; params.items()dtrain &＃61; xgb.DMatrix(X_train, y_train)num_rounds &＃61; 500model &＃61; xgb.train(plst, dtrain, num_rounds)# 对测试集进行预测dtest &＃61; xgb.DMatrix(X_test)ans &＃61; model.predict(dtest)# 计算准确率cnt1 &＃61; 0cnt2 &＃61; 0for i in range(len(y_test)): if ans[i] &＃61;&＃61; y_test[i]: cnt1 &＃43;&＃61; 1 else: cnt2 &＃43;&＃61; 1print("Accuracy: %.2f %% " % (100 * cnt1 / (cnt1 &＃43; cnt2)))# 显示重要特征plot_importance(model)plt.show()
这里&＃xff0c;我们用Kaggle比赛中回归问题&＃xff1a;House Prices: Advanced Regression Techniques&＃xff0c;地址&＃xff1a;https://www.kaggle.com/c/house-prices-advanced-regression-techniques 来进行实例讲解。
该房价预测的训练数据集中一共有81列&＃xff0c;第一列是Id&＃xff0c;最后一列是label&＃xff0c;中间79列是特征。这79列特征中&＃xff0c;有43列是分类型变量&＃xff0c;33列是整数变量&＃xff0c;3列是浮点型变量。训练数据集中存在缺失值。
import pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.impute import SimpleImputerimport xgboost as xgbfrom sklearn.metrics import mean_absolute_error# 1.读文件data &＃61; pd.read_csv(&＃39;./dataset/train.csv&＃39;)data.dropna(axis&＃61;0, subset&＃61;[&＃39;SalePrice&＃39;], inplace&＃61;True)# 2.切分数据输入&＃xff1a;特征 输出&＃xff1a;预测目标变量y &＃61; data.SalePriceX &＃61; data.drop([&＃39;SalePrice&＃39;], axis&＃61;1).select_dtypes(exclude&＃61;[&＃39;object&＃39;])# 3.切分训练集、测试集,切分比例7.5 : 2.5train_X, test_X, train_y, test_y &＃61; train_test_split(X.values, y.values, test_size&＃61;0.25)# 4.空值处理&＃xff0c;默认方法&＃xff1a;使用特征列的平均值进行填充my_imputer &＃61; SimpleImputer()train_X &＃61; my_imputer.fit_transform(train_X)test_X &＃61; my_imputer.transform(test_X)# 5.调用XGBoost模型&＃xff0c;使用训练集数据进行训练(拟合)# Add verbosity&＃61;2 to print messages while running boostingmy_model &＃61; xgb.XGBRegressor(objective&＃61;&＃39;reg:squarederror&＃39;, verbosity&＃61;2) # xgb.XGBClassifier() XGBoost分类模型my_model.fit(train_X, train_y, verbose&＃61;False)# 6.使用模型对测试集数据进行预测predictions &＃61; my_model.predict(test_X)# 7.对模型的预测结果进行评判(平均绝对误差)print("Mean Absolute Error : " &＃43; str(mean_absolute_error(predictions, test_y)))
在上一部分中&＃xff0c;XGBoot模型的参数都使用了模型的默认参数&＃xff0c;但默认参数并不是最好的。要想让XGBoost表现的更好&＃xff0c;需要对XGBoost模型进行参数微调。下图展示的是分类模型需要调节的参数&＃xff0c;回归模型需要调节的参数与此类似。
(1)GBDT是机器学习算法&＃xff0c;XGBoost是该算法的工程实现。
(2)正则项&＃xff1a; 在使用CART作为基分类器时&＃xff0c;XGBoost显式地加入了正则项来控制模型的复杂度&＃xff0c;有利于防止过拟合&＃xff0c;从而提高模型的泛化能力。
(3)导数信息&＃xff1a; GBDT在模型训练时只使用了代价函数的一阶导数信息&＃xff0c;XGBoost对代价函数进行二阶泰勒展开&＃xff0c;可以同时使用一阶和二阶导数。
(4)基分类器&＃xff1a; 传统的GBDT采用CART作为基分类器&＃xff0c;XGBoost支持多种类型的基分类器&＃xff0c;比如线性分类器。
(5)子采样&＃xff1a; 传统的GBDT在每轮迭代时使用全部的数据&＃xff0c;XGBoost则采用了与随机森林相似的策略&＃xff0c;支持对数据进行采样。
(6)缺失值处理&＃xff1a; 传统GBDT没有设计对缺失值进行处理&＃xff0c;XGBoost能够自动学习出缺失值的处理策略。
(7)并行化&＃xff1a; 传统GBDT没有进行并行化设计&＃xff0c;注意不是tree维度的并行&＃xff0c;而是特征维度的并行。XGBoost预先将每个特征按特征值排好序&＃xff0c;存储为块结构&＃xff0c;分裂结点时可以采用多线程并行查找每个特征的最佳分割点&＃xff0c;极大提升训练速度。
(1)从为什么会想到引入泰勒二阶的角度来说(可扩展性)&＃xff1a; XGBoost官网上有说&＃xff0c;当目标函数是MSE时&＃xff0c;展开是一阶项(残差)&＃43;二阶项的形式&＃xff0c;而其它目标函数&＃xff0c;如logistic loss的展开式就没有这样的形式。为了能有个统一的形式&＃xff0c;所以采用泰勒展开来得到二阶项&＃xff0c;这样就能把MSE推导的那套直接复用到其它自定义损失函数上。简短来说&＃xff0c;就是为了统一损失函数求导的形式以支持自定义损失函数。至于为什么要在形式上与MSE统一&＃xff1f;是因为MSE是最普遍且常用的损失函数&＃xff0c;而且求导最容易&＃xff0c;求导后的形式也十分简单。所以理论上只要损失函数形式与MSE统一了&＃xff0c;那就只用推导MSE就好了。
(2)从二阶导本身的性质&＃xff0c;也就是从为什么要用泰勒二阶展开的角度来说(精准性)&＃xff1a; 二阶信息本身就能让梯度收敛更快更准确。这一点在优化算法里的牛顿法中已经证实。可以简单认为一阶导指引梯度方向&＃xff0c;二阶导指引梯度方向如何变化。简单来说&＃xff0c;相对于GBDT的一阶泰勒展开&＃xff0c;XGBoost采用二阶泰勒展开&＃xff0c;可以更为精准的逼近真实的损失函数。
在普通的GBDT策略中&＃xff0c;对于缺失值的方法是先手动对缺失值进行填充&＃xff0c;然后当做有值的特征进行处理&＃xff0c;但是这样人工填充不一定准确&＃xff0c;而且没有什么理论依据。而XGBoost采取的策略是先不处理那些值缺失的样本&＃xff0c;采用那些有值的样本搞出分裂点&＃xff0c;在遍历每个有值特征的时候&＃xff0c;尝试将缺失样本划入左子树和右子树&＃xff0c;选择使损失最优的值作为分裂点。
(1)XGBoost的并行&＃xff0c;并不是说每棵树可以并行训练&＃xff0c;XGBoost本质上仍然采用boosting思想&＃xff0c;每棵树训练前需要等前面的树训练完成才能开始训练。
(2)XGBoost的并行&＃xff0c;指的是特征维度的并行&＃xff1a;在训练之前&＃xff0c;每个特征按特征值对样本进行预排序&＃xff0c;并存储为Block结构&＃xff0c;在后面查找特征分割点时可以重复使用&＃xff0c;而且特征已经被存储为一个个block结构&＃xff0c;那么在寻找每个特征的最佳分割点时&＃xff0c;可以利用多线程对每个block并行计算。
7. Reference由于参考的文献较多&＃xff0c;我把每一部分都重点参考了哪些文章详细标注一下。XGBoost论文解读&＃xff1a;
【1】Chen T , Guestrin C . XGBoost: A Scalable Tree Boosting System[J]. 2016.
【2】Tianqi Chen的XGBoost的Slides&＃xff0c;地址&＃xff1a;https://homes.cs.washington.edu/~tqchen/data/pdf/BoostedTree.pdf
【3】对xgboost的理解 - 金贵涛的文章 - 知乎 https://zhuanlan.zhihu.com/p/75217528
【4】CTR预估 论文精读(一)--XGBoost&＃xff0c;地址&＃xff1a;https://blog.csdn.net/Dby_freedom/article/details/84301725
【5】XGBoost论文阅读及其原理 - Salon sai的文章 - 知乎 https://zhuanlan.zhihu.com/p/36794802
【6】XGBoost 论文翻译&＃43;个人注释&＃xff0c;地址&＃xff1a;https://blog.csdn.net/qdbszsj/article/details/79615712XGBoost算法讲解&＃xff1a;
【7】XGBoost超详细推导&＃xff0c;终于有人讲明白了&＃xff01;&＃xff0c;地址&＃xff1a;https://mp.weixin.qq.com/s/wLE9yb7MtE208IVLFlZNkw
【8】终于有人把XGBoost 和 LightGBM 讲明白了&＃xff0c;项目中最主流的集成算法&＃xff01;&＃xff0c;地址&＃xff1a;https://mp.weixin.qq.com/s/LoX987dypDg8jbeTJMpEPQ
【9】机器学习算法中 GBDT 和 XGBOOST 的区别有哪些&＃xff1f;- wepon的回答 - 知乎 https://www.zhihu.com/question/41354392/answer/98658997
【10】GBDT算法原理与系统设计简介&＃xff0c;wepon&＃xff0c;地址&＃xff1a;http://wepon.me/files/gbdt.pdfXGBoost实例&＃xff1a;
【11】Kaggle 神器 xgboost&＃xff0c;地址&＃xff1a;https://www.jianshu.com/p/7e0e2d66b3d4
【12】干货 | XGBoost在携程搜索排序中的应用&＃xff0c;地址&＃xff1a;https://mp.weixin.qq.com/s/X4K6UFZPxL05v2uolId7Lw
【13】史上最详细的XGBoost实战 - 章华燕的文章 - 知乎 https://zhuanlan.zhihu.com/p/31182879
【14】XGBoost模型构建流程及模型参数微调(房价预测附代码讲解) - 人工智能学术前沿的文章 - 知乎 https://zhuanlan.zhihu.com/p/61150141XGBoost面试题&＃xff1a;
【15】珍藏版 | 20道XGBoost面试题&＃xff0c;你会几个&＃xff1f;(上篇)&＃xff0c;地址&＃xff1a;https://mp.weixin.qq.com/s/_QgnYoW827GDgVH9lexkNA
【16】珍藏版 | 20道XGBoost面试题&＃xff0c;你会几个&＃xff1f;(下篇)&＃xff0c;地址&＃xff1a;https://mp.weixin.qq.com/s/BbelOsYgsiOvwfwYs5QfpQ
【17】推荐收藏 | 10道XGBoost面试题送给你&＃xff0c;地址&＃xff1a;https://mp.weixin.qq.com/s/RSQWx4fH3uI_sjZzAKVyKQ
【18】面试题&＃xff1a;xgboost怎么给特征评分&＃xff1f;&＃xff0c;地址&＃xff1a;https://mp.weixin.qq.com/s/vjLPVhg_UavZIJrOzu_u1w
【19】[校招-基础算法]GBDT/XGBoost常见问题 - Jack Stark的文章 - 知乎 https://zhuanlan.zhihu.com/p/81368182
【20】《百面机器学习》诸葛越主编、葫芦娃著&＃xff0c;P295-P297。
【21】灵魂拷问&＃xff0c;你看过Xgboost原文吗&＃xff1f;- 小雨姑娘的文章 - 知乎 https://zhuanlan.zhihu.com/p/86816771
【22】为什么xgboost泰勒二阶展开后效果就比较好了呢&＃xff1f;- Zsank的回答 - 知乎 https://www.zhihu.com/question/277638585/answer/522272201
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有 