提升算法 - Boosting

发表于 更新于 分类于 ， 阅读次数： 本文字数： 328 阅读时长 ≈ 1 分钟

Boosting 方法根据当前分类器的分类情况，动态更改训练数据权重，用不同层次的分类器逐步解决 “易分 -> 难分” 的问题

什么是提升算法 (Boosting)？

  • Boosting 是串行模型，先让一个臭皮匠去探探底，根据反馈结果再派第二个、第三个，颇有些车轮战的味道。进一步的，车轮战还可以根据具体战术落脚点的不同，而分为 Adaboost 和 GB，其中 AdaBoost 算法中各个臭皮匠的迭代重点在于不断弥补自己的过失 / 错误的地方，而 GB 算法中各个臭皮匠的迭代重点在于不断弥补自己与诸葛亮 / 理想型的差距，或者说残差
  • 典型代表： AdaBoost（Adaptive boosting）、 Boosting Tree 、 GBDT（Gradient Boost Decision Tree)