最小角度回归

什么是最小角回归 (LARS)？

• 一种线性回归的高效算法，用于在高维数据集中选择变量并估计它们的系数。LARS 的核心思想是从一个简单的模型开始，然后逐步添加变量，每次添加与当前残差最相关的变量。这个过程通过一个特殊的坐标下降方法实现，该方法考虑了所有可能的变量组合，并沿着预测值与观测值之间角度最小的方向前进
• 

最小角回归 (LARS) 的优点？

• 在特征数量明显大于样本数量的情况下，它在数值上是有效的
• 它在计算上与前向选择一样快，并且具有与普通最小二乘法相同的复杂度
• 它产生一个完整的分段线性解决方案路径，这在交叉验证或类似的模型调整尝试中很有用
• 如果两个特征与目标的相关性几乎相等，那么它们的系数应该以大致相同的速率增加。因此，该算法的行为与直觉所期望的一样，并且也更稳定
• 它很容易修改以生成其他估计器的解决方案，例如 Lasso