HMANet：Hybrid Multiple Attention Network for Semantic Segmentation in Aerial Images

发表于 更新于 分类于 ， 阅读次数： 本文字数： 1.1k 阅读时长 ≈ 1 分钟

混合多重注意力网络(Hybrid Multiple Attention,HMANet)以更有效，有效的方式从空间，渠道和类别的角度自适应地捕获全局相关性。具体来说，嵌入了类通道注意的类增强注意力（CAA）模块可用于计算基于类别的相关性并重新校准类级信息。此外，引入了一个简单而有效的区域洗牌（RSA）模块，以降低特征冗余，并通过区域表示来提高自我关注机制的效率

什么是 HMANet ？

  • HMANet-20230408143043
  • 基于 Attention 的方法能够有效捕捉长距离的依赖性, 并进一步重建地貌地图, 以增进代表性
  • HMA 除了从空间和 channel 的角度增加注意力，还增加类别注意力，并且提出区域洗牌（RSA）模块，降低特征冗余

HMANet 的网络结构？

  • HMANet-20230408143043
  • 网络架构主要由三个注意力模块组成: Class Augmented attention (CAA)模块、Class Channel attention (CCA)模块和 Region Shuffle attention (RSA)模块，其中 CAA 模块和 CCA 模块作为网络的上分支嵌入在一起，生成的类亲和矩阵和类注意图作为输入特征，得到自适应加权类亲和矩阵，网络的下分支是 RSA 模块
  • CAA 模块：用于建模降维后特定类别与对应特征之间的依赖关系，即通过矩阵运算提取输入特征的每个通道与每个类别之间的相似关系，它有助于获得对对象类别信息更敏感的细粒度特征表示，增强网络的识别能力
  • CCA 模块：通过类通道加权改进特征重构过程，以更好地进行上下文表示
  • RSA 模块：与计算原始远程像素级别依赖相比，学习基于区域级别的依赖大大减少了计算消耗和内存占用

HMANet 的类别通道注意力模块 (Class Channel attention, CCA)?

  • GSCNN-20230408143105
  • 该模块用于生成类别注意力，即每个特征 (HW)与每个类别 (N)的关系
  • 直接对 NxHxW 的 featrue map 进行 softmax 后，得到矩阵 P’即是类别注意力矩阵，该矩阵用于后续和通道注意力相乘得到通道与类别的关系矩阵 A，与关系矩阵A相乘得到自适应加权类亲和矩阵 X’’

HMANet 的类别增强注意力模块 (Class Augmented attention,CAA)?

  • GSCNN-20230408143105
  • 该模块用于生成类别+通道的注意力矩阵，即自适应加权类亲和矩阵X’’
  • 首先使用类别注意力矩阵 P’去加权 C’xHW，然后通过 softmax 求得每个通道与类别的关系矩阵 A，然后注意力矩阵 P’和关系矩阵 A 相乘，得到自适应加权类亲和矩阵X’’

HMANet 的区域洗牌 (RSA)模块 ?

  • HMANet-20230408143127
  • 原始的空间注意力主要是构建像素级别的注意力，但是会带来计算消耗和内存占用
  • 未混洗前的区域空间注意力：首先对输入特征进行分组，然后每组进行全局池化 (GAP)，得到每组的加权值，相比较像素级别的加权，该加权值的数量更少
  • 混洗后的区域空间注意力：和上面加权方式一样，只是在加权前先混洗