核岭回归 Kernel-ridge-regression

发表于 更新于 分类于 ， 阅读次数： 本文字数： 678 阅读时长 ≈ 1 分钟

什么是核岭回归（Kernel Ridge Regression，KRR）？

  • 一种基于核方法的回归分析技术，它结合了岭回归（Ridge Regression）和核技巧（Kernel Trick）。岭回归通过在损失函数中加入一个正则化项来防止过拟合，而核技巧则允许我们将数据映射到一个更高维的特征空间，以便捕捉非线性关系。核岭回归特别适用于处理高维和非线性问题。
1
2
3
4
5
6
7
8
9
>>> from sklearn.kernel_ridge import KernelRidge
>>> import numpy as np
>>> n_samples, n_features = 10, 5
>>> rng = np.random.RandomState(0)
>>> y = rng.randn(n_samples)
>>> X = rng.randn(n_samples, n_features)
>>> krr = KernelRidge(alpha=1.0)
>>> krr.fit(X, y)
    KernelRidge(alpha=1.0)

核岭回归 (KRR) 学习模式 KernelRidge 与支持向量机的学习模型形式有什么区别？

  • 核岭回归 (KRR) 所学习的模型形式与支持向量回归 ( SVR) 相同。但是使用了不同的损失函数：KRR 使用平方误差损失，而支持向量回归使用 - 不敏感的损失， 两者都与 L2 正则化相结合
  • 与相比 SVR，拟合 KernelRidge 可以以封闭形式完成，并且对于中等大小的数据集通常更快