boost也分为许多种类,如AdaBoost、Gradient Boost、XGBoost等,Gradient Boost顾名思义,与梯度脱不开关系,对梯度有了解或学过数值计算的人应当知道,负梯度方向是函数下降最快的方向。在有监督机器学习中,我们的目标是学得使得损失函数最小的模型,因此梯度下降算法的目标则是在每一轮迭代中,求得当前模型的损失函数的负梯度方向,乘以一定的步长(即学习速率),加到当前模型中形成此轮迭代产生的新模型,从而达到每一轮迭代后的模型,相比上轮模型,都可以使得损失函数更小的目的。
介绍
思想
参数及定义
如何衡量变量的重要性