FastFCN：Rethinking Dilated Convolution in the Backbone for Semantic Segmentation

发表于 更新于 分类于 ， 阅读次数： 本文字数： 825 阅读时长 ≈ 1 分钟

FastFCN在原有FCN的基础上，提出联合金字塔上采样 (joint Pyramid upsampling, JPU)，相比较原始的双线性插值、反卷积上采样，该模块明显更有效

什么是 FastFCN？

  • FastFCN-20230408142953
  • (a)原始 FCN：使用全卷积去生成最后的完成，其 featrue map 分辨率比较低
  • (b)编码器-解码器风格：在 FCN 上接上编码器，获取和还原高分辨率 featrue map ，如：[[SegNet]] 、[[UNet]]
  • ©空洞卷积：进一步地，DeepLab 方法对 FCN 最后两层下采样操作并引入膨胀卷积来保持特征图感受野不变，后跟一个多尺度的语义模块从而得到最终效果。扩张卷积提高了最终特征图的分辨率，大大提升了编解码语义分割方法的分割精度，然而扩展卷积大大增加了计算复杂度和内存占用
  • FastFCN 提出一种新的上采样模块，称为联合金字塔上采样 (joint Pyramid upsampling, JPU)，该模块优于其他上采样模块（双线性插值），可以插入现有的多种上采样方法，降低计算复杂度，提高性能

FastFCN 的网络结构？

  • FastFCN-20230408142953-1
  • BackBone：主干与原始FCN相同，其中5个feature maps (Conv1−Conv5)的空间分辨率逐渐降低了2倍
  • JPU：以主干的3个特征图 (Conv3 ~ Conv5)为输入，产生 8 倍的 featrue map
  • 预测：使用多尺度上下文模块 (PSP /ASPP)或全局上下文模块 (Encoding)产生最终的预测结果

FastFCN 的联合金字塔上采样模块 (joined pyramid upsampling, JPU) ？

  • FastFCN-20230408142954
  • 上采样：3 个分辨率的 feature map 输入，首先通过卷积调整通道，然后对生成的特征图进行上采样和级联，得到 yc
  • 空洞卷积特征金字塔：然后并行使用4个膨胀率不同的可分离卷积来提取特征
  • 融合特征：使用 concat 组合不同膨胀率的特征，然后使用卷积融合

联合金字塔上采样模块与其他采样模块比较？

  • FastFCN-20230408142955
  • 使用 JPU 提高分辨率具有比 Bilinear、FPN 更好的效果