Pose Attention 是一个基于 hourglass 改进的网络,主要创新是同时结合了整体注意力和肢体部分注意力,整体注意力针对的是整体人体的全局一致性,部分注意力针对不同身体部分的详细描述. 因此,能够处理从局部显著区域到全局语义空间的不同粒度内容,同时引入条件随机场(CRF)来进行空间相关建模,而不是使用全局Softmax

阅读全文 »

Hourglass 认为识别脸和手是需要局部信息的,而整体的姿态识别需要整个身体的信息。因此,整合各种尺度的信息是必要的。采取重复的自底向上、自顶向下模块学习图片特征,相当于使用不同的感受野观察图片,结合中间监督,加速模型收敛

阅读全文 »

人体关节之间是存在一定的关系的,传统做法是使用马尔科夫模型构建他们之间的关联。CPM 没有使用该方法,而是使用卷积去提取关节之间的关系。主要思路是将网络结构分为多个 stage,其中第一个 stage 会产生初步的关键点的检测效果,接下来的几个 stage 均以前一个 stage 的预测输出和从原图提取的特征作为输入,最后使用多 satge 监督网络训练

阅读全文 »

语义分割是对像素进行分类,而像素的类别标签是由它所在的目标的类别标签决定的,通常的上下文信息是基于像素之间的,OCRNet 根据类别数量,基于"自注意力机制"显式地增强来自同一物体的像素贡献

阅读全文 »