MSPN:Rethinking on Multi-Stage Networks for Human Pose Estimation

MSPN 是对 Hourglass 的改进,可用于单目标的人体姿势检测,它认为 Hourglass 的重复降采样+不变的通道数导致信息损失,它希望是降采样时,通过更多的通道数将信息补充回来,所以借鉴CPN修改了 Hourglass 的所有satge

什么是 MSPN ?

  • MSPN 是对 Hourglass 的改进,可用于单目标的人体姿势检测
  • MSPN 认为 Hourglass 的重复降采样+不变的通道数导致信息损失,它希望是降采样时,通过更多的通道数将信息补充回来,所以借鉴CPN修改了 Hourglass 的所有satge

MSPN 的网络结构?

  • 单个 stage: MSPN 采用类似 CPN 的结构来替代 Hourglass 中每个 stage,使得单个 stage 的能力变强,规避了特征因为降采样而丢失
  • 相邻 stage 的特征融合:每个 stage 接收上一 satge 的输出+该 stage 内同分辨率的特征(包括下采样和上采样两部分),通过上述的特征聚合方式,使得每个stage中的信息完备且表征能力强
  • 多 stage 监督:不同的 stage 使用不同精度的关键点监督,越高层的 stage 其监督信息越精细

MSPN 如何处理相邻 stage 特征融合?

  • 每个 stage 接收上一 satge 的输出+该 stage 内同分辨率的特征(包括下采样和上采样两部分),通过上述的特征聚合方式,使得每个 stage 中的信息完备且表征能力强
  • 同分辨率的特征使用 1 x 1 卷积调整通道数,得到的通道数和下采样特征通道数一样

MSPN 的多 stage 监督?

  • 每个 stage 的输出都能作为最终的关键点检测结果。而且随着 stage 的增多,关键点定位会越来越准。为了使得在前端的 stage 能够获得更好的知道,作者提出了由粗到细的多分支监督的方式来优化多 stage 的能力
  • 通过采用不同 kernel-size 的高斯核制作精细不同的标签,越靠近输入 stage 的kernel-size 越大

参考:

  1. CVPR 2019 | MSPN 重新思考多阶段人体姿态估计网络_yuanCruise的博客-CSDN博客