MSPN:Rethinking on Multi-Stage Networks for Human Pose Estimation
MSPN 是对 Hourglass 的改进,可用于单目标的人体姿势检测,它认为 Hourglass 的重复降采样+不变的通道数导致信息损失,它希望是降采样时,通过更多的通道数将信息补充回来,所以借鉴CPN修改了 Hourglass 的所有satge
什么是 MSPN ?
- MSPN 是对 Hourglass 的改进,可用于单目标的人体姿势检测
- MSPN 认为 Hourglass 的重复降采样+不变的通道数导致信息损失,它希望是降采样时,通过更多的通道数将信息补充回来,所以借鉴CPN修改了 Hourglass 的所有satge
MSPN 的网络结构?
- 单个 stage: MSPN 采用类似 CPN 的结构来替代 Hourglass 中每个 stage,使得单个 stage 的能力变强,规避了特征因为降采样而丢失
- 相邻 stage 的特征融合:每个 stage 接收上一 satge 的输出+该 stage 内同分辨率的特征(包括下采样和上采样两部分),通过上述的特征聚合方式,使得每个stage中的信息完备且表征能力强
- 多 stage 监督:不同的 stage 使用不同精度的关键点监督,越高层的 stage 其监督信息越精细
MSPN 如何处理相邻 stage 特征融合?
- 每个 stage 接收上一 satge 的输出+该 stage 内同分辨率的特征(包括下采样和上采样两部分),通过上述的特征聚合方式,使得每个 stage 中的信息完备且表征能力强
- 同分辨率的特征使用 1 x 1 卷积调整通道数,得到的通道数和下采样特征通道数一样
MSPN 的多 stage 监督?
- 每个 stage 的输出都能作为最终的关键点检测结果。而且随着 stage 的增多,关键点定位会越来越准。为了使得在前端的 stage 能够获得更好的知道,作者提出了由粗到细的多分支监督的方式来优化多 stage 的能力
- 通过采用不同 kernel-size 的高斯核制作精细不同的标签,越靠近输入 stage 的kernel-size 越大
参考: