BiSeNet：Bilateral Segmentation Network for Real-time Semantic Segmentation

发表于 更新于 分类于 ， 阅读次数： 本文字数： 676 阅读时长 ≈ 1 分钟

为了兼顾推理速度的同时保留大的特征图分辨率，BiSeNet引入Spatial Path和Context Path，Spatial Path中步长较小来得到高分辨率的特征图，Context Path引入快速的下采样机制来增加感受野，最后使用特征融合模块融合两个分支的特征

什么是 BiSeNet？

  • BiSeNet-20230408142104
  • 语义分割 2 个条件越满足，性能越好。即更大的感受野和更丰富的空间信息，大的感受野通过加深网络实现，但是越深层网络的空间信息越弱，两个条件互为矛盾
  • 为了兼顾推理速度的同时保留大的特征图分辨率，BiSeNet引入Spatial Path和Context Path，Spatial Path中步长较小来得到高分辨率的特征图，Context Path引入快速的下采样机制来增加感受野，最后使用特征融合模块将Spatial Path和Context Path的特征图进行有效融合

BiSeNet 的网络结构？

  • BiSeNet-20230408142105
  • 空间分支 (Spatial Path)：保留原始输入图像的空间尺寸并编码丰富的空间信息。空间分支主要包括三层 CBR，最终得到的特征图是原图的1/8
  • 上下文分支 (Context Path)：为了兼顾感受野的大小和实时两个因素，上下文分支采用Light Weight模型和全局平均池化去提供更大的感受野
  • 注意力模块 (Attention Refinement，ARM)：使用全局平均池化生成“通道注意力”，引导上下文分支的特征融合
  • 特征混合模块 (Feature Fusion，FFM)：两个分支所提取的特征是不同 level 的，所以不能简单的把二者相加。通过一个 CBR 整合特征，然后再次使用“通道注意力”去引导特征融合