PP-LiteSeg：A Superior Real-Time Semantic Segmentation Model

发表于 2023-01-28 更新于 2023-10-24 分类于 2-深度学习， C-语义分割阅读次数：本文字数： 1.1k 阅读时长 ≈ 1 分钟

为搭建一个轻量化的语义分割网络，PP-LiteSeg 设计了灵活轻便的 encoder 模块、统一的注意力模块和高效的金字塔特征融合模块

什么是 PP-LiteSeg ？

为搭建一个轻量化的语义分割网络，PP-LiteSeg 设计了灵活轻便的 encoder 模块、统一的注意力模块和高效的金字塔特征融合模块

PP-LiteSeg 的网络结构？

Flexible and Lightweight Decoder(FLD)：灵活轻便的 encoder 模块，用于提取图片的特征，主要特点是通道数不增反减
Unified Attention Fusion Module(UAFM)：使用 2 种空间注意力和通道注意力，构建输入特征的空间之间以及通道之间的关系
Simple Pyramid Pooling Module(SPPM)：简单的特征融合模块，它减少了中间通道和输出通道，消除了Shortcut，并用一个add操作替换了concat操作

PP-LiteSeg 的 Flexible and Lightweight Decoder (FLD)？

一般来说，编码器利用一系列分成几个阶段的层来提取层次特征。对于从 low-level 到 high-level 的特征，通道的数量逐渐增加，特征的空间尺寸逐渐减小
解码器也有几个阶段，负责对 low-level 到 high-level 的特征融合和上采样特征，为了提高解码器的效率，FLD逐渐将特征的通道从high-level减少到low-level层次

PP-LiteSeg 的 Unified Attention Fusion Module (UAFM)？

输入特征被表示为 $F_{hight}$ 和 $F_{low}$ 。 $F_{hight}$ 是深层模块的输出，而 $F_{low}$ 是编码器的对应模块。请注意，它们有相同的通道数量
UAFM 首先利用双线性插值操作将 $F_{hight}$ 上采样到 $F_{low}$ 相同大小，而上采样特征记为 $F_{up}$ 。然后，注意力模块以 $F_{up}$ 和 $F_{low}$ 作为输入，产生权重 $\alpha$
注意，注意力模块可以是一个插件，如空间注意力模块、通道注意力模块等

PP-LiteSeg 的 Simple Pyramid Pooling Module (SPPM)？

与原始的金字塔池化模块（PPM）相比，SPPM 减少了中间通道和输出通道，删除了 shortcut，并用 add 操作替换了 cat 操作。因此，SPPM 更有效，也更适合用于实时模型

参考：