DFN

针对语义分割的类内不一致、类间不区分的情况,DFN 设计两个子网络分别 Smooth Network 和 Border Network 缓解该问题

什么是 DFN?

  • DFN-20230408142809
  • 本文提出一个全新的判别特征网络 (DFN) 以学习特征表示,DFN 有两个组件:Smooth Network 和 Border Network
  • Smooth Network 用来解决类内不一致问题:需要多尺度和全局语境特征来编码局部和全局信息,引入多尺度语境信息后,对于一定尺度的物体来说,大量的特征具有不同程度的判别力,其中一些特征可能导致预测错误。因此,有必要选择高效的判别特征
  • Border Network 负责区分外观相似但标签不同的相邻图像块:明确地使用语义边界指导特征的学习非常重要。这可以迫使网络增强两边特征的判别性,把语义边界 loss 整合进 Border Network 以学习更有判别性的特征,增大类间差别

DFN 的网络结构?

  • DFN-20230408142809
  • 平滑网络:用了 global pool 以及通道注意力模块 CAB 和精细化残差块 RRB
  • 边界网络:用语义边界监督,网络获得更为精准的边界,得到的 mask 也更具区分度
  • 整体网络:用 deep supervision 对每一层的结果进行上采样计算损失,除了全局池化层,平滑网络用 softmax,边界网络用 focal loss,最后两个加起来用一个平衡参数 L=L(s)+a×L(b)L=L(s)+a\times L(b)

DFN 的通道注意力模块 (CAB)?

  • DFN-20230408142841
  • 在 [[FCN]] 架构中,卷积算子输出了一个 score map,给出每个像素在每一类别上的概率。这种方式实际意味着不同通道的权重是平等的
  • 然而,不同阶段的特征判别力不同,造成预测的一致性各不相同。为实现类内一致预测,应该提取判别特征,并抑制非判别特征,从而可以逐阶段地获取判别特征以实现预测类内一致

DFN 的精细化残差块 RRB?

  • DFN-20230408142842
  • 模块整合通道信息,强化每一阶段的识别能力