机器学习中的回归技术

线性和逻辑回归通常是人们在数据科学中学习的第一个算法。由于它们的流行，许多分析师甚至最终认为它们是回归的唯一形式。参与程度稍高的人认为，它们是所有形式的回归分析中最重要的。

事实是，可以执行无数种形式的回归。每种形式都有其自身的重要性和最适合应用的特定条件。在本文中介绍了数据科学中最常用的7种回归类型。

线性回归

它是最广为人知的建模技术之一。线性回归通常是人们在学习预测建模时会选择的头几个主题。在此技术中，因变量是连续的，自变量可以是连续的或离散的，并且回归线的性质是线性的。

线性回归使用最佳拟合直线（也称为回归线）在因变量（Y）和一个或多个自变量（X）之间建立关系。

它由等式Y = a + b * X + e表示，其中a是截距，b是直线的斜率，e是误差项。该方程式可用于基于给定的预测变量来预测目标变量的值。

简单线性回归和多元线性回归之间的区别在于，多元线性回归具有（> 1）个自变量，而简单线性回归只有1个自变量。现在，问题是“我们如何获得最佳拟合线？”。

如何获得最佳拟合线（a和b的值）？

可以通过最小二乘法轻松地完成此任务。这是用于拟合回归线的最常用方法。它通过最小化从每个数据点到该线的垂直偏差的平方和来计算观测数据的最佳拟合线。由于偏差是先平方的，所以相加时就不会在正值和负值之间抵消。

Logistic回归

Logistic回归用于查找事件=成功和事件=失败的概率。当因变量本质上是二进制（0/1，True False，Yes No）时，我们应该使用逻辑回归。在此，Y的值在0至1的范围内，并且可以由以下等式表示。

·赔率= p （1-p）=事件发生的概率/非事件发生的概率

·ln（奇数）= ln（p （1-p））

·logit（p）= ln（p （1-p））= b0 + b1X1 + b2X2 + b3X3 .... + bkXk

上面的p是存在感兴趣特征的概率。您在这里应该问的一个问题是“为什么在方程式中使用对数？”。

由于我们在这里使用二项式分布（因变量），因此我们需要选择最适合此分布的链接函数。并且，它是logit功能。在上面的方程式中，选择参数的目的是使观察样本值的可能性最大化，而不是使平方误差的总和最小（就像在普通回归中一样）。

多项式回归

如果自变量的幂大于1，则回归方程式是多项式回归方程式。以下方程式表示多项式方程式：

y = a + b * x ^ 2

在这种回归技术中，最佳拟合线不是直线。而是一条适合数据点的曲线。

逐步回归

当我们处理多个自变量时，将使用这种形式的回归。在这种技术中，自变量的选择是在自动过程的帮助下完成的，该过程 无需人工干预。

通过观察R-square，t-stats和AIC度量等统计值来识别重要变量，可以实现这一壮举。逐步回归基本上可以通过基于指定条件一次添加/删除一个协变量来拟合回归模型。下面列出了一些最常用的逐步回归方法：

·标准逐步回归有两件事。它根据每个步骤的需要添加和删除预测变量。

·正向选择从模型中最重要的预测变量开始，并为每个步骤添加变量。

·向后消除从模型中的所有预测变量开始，并删除每个步骤的最低有效变量。

这种建模技术的目的是用最少数量的预测变量来最大化预测能力。它是处理更高维度数据集的方法之一。

岭回归

岭回归是一种当数据遭受多重共线性（独立变量高度相关）时使用的技术。在多重共线性中，即使最小二乘估计（OLS）是无偏的，它们的方差也很大，这使观测值偏离了真实值。通过在回归估计中增加一定程度的偏差，岭回归可减少标准误差。

我们看到了线性回归方程。它可以表示为：

y = a + b * x

该方程式还有一个误差项。完整的等式变为：

y = a + b * x + e（误差项），[误差项是校正观测值和预测值之间的预测误差所需的值]
=> y = a + y = a + b1x1 + b2x2 + .... + e，用于多个自变量。

在线性方程中，预测误差可以分解为两个子成分。首先是由于偏见，其次是由于方差。由于这两个或两个组件中的任何一个，可能会发生预测错误。在这里，我们将讨论由于方差引起的误差。

Ridge回归通过收缩参数λ（λ）解决了多重共线性问题 。看下面的等式。

在这个方程中，我们有两个组成部分。第一个是最小二乘项，另一个是β2的总和的λ  （β平方），其中β是系数。将其添加到最小二乘项以缩小参数以使其具有非常低的方差。

套索回归

与“岭回归”相似，“套索”（最小绝对收缩和选择算子）也惩罚了回归系数的绝对大小。此外，它能够减少变异性并提高线性回归模型的准确性。看下面的方程式：套索回归与岭回归的不同之处在于，它在惩罚函数中使用绝对值而不是平方。这导致惩罚（或等效地约束估计的绝对值之和）值，这导致某些参数估计值恰好为零。施加的惩罚越大，则估计值进一步缩水至绝对零。这导致从给定的n个变量中选择变量。

ElasticNet回归

ElasticNet是Lasso和Ridge回归技术的混合。  事先用L1和L2训练它作为正则化器。当存在多个相互关联的功能时，Elastic-net很有用。套索可能会随机选择其中之一，而弹性网可能会同时选择两者。

在Lasso和Ridge之间进行折衷的一个实际优势是，它允许Elastic-Net继承旋转条件下Ridge的某些稳定性。