RefineNet

RefineNet 是一个采用 encoder-decoder 的语义分割网络，类似于 Unet，频繁采用上采样和跨连接，不同在于 UNet 在上采样后直接和 encoder 的 feature map 进行级联，RefineNet 上采样后把 encoder 产生的 feature 和上一阶段 decoder 的输出同时作为输入

什么是 RefineNet ？

• 
• a 是标准 CNN 进行分割的过程，连续下采样，丢失信息多
• b 使用空洞卷积在增大感受野的同时，不下降分辨率，但是带来计算量的提升
• C 是 RefineNet 通过跨连接融合不同层次的信息，实现更精准的预测，其过程类似 U-net，主要区别是特征融合时先经过一个 “子模块” 融合再输出

RefineNet 的网络结构？

• 
• 主干网络：使用 ResNet 18，连续 5 次下采样，通过融合 C2、C3、C4、C5 这 4 个层次的特征
• 特征融合：仅输入 C5 特征或者经过 RefineNet 提取的 C5’特征 + C4 特征，也就是融合上一层的 decoder 和当前层的 encode 特征一起输入 RefineNet
• 模型最终输出 C2 级别的特征作为预测结果

RefineNet 的 RefineNet 单元？

• 
• 残差卷积单元（RCU）：包含一系列提取特征的卷积集合，使用了残差机制
• 多尺寸融合模块：多尺度特征上采样后，使用 sum 进行融合
• 链式残差池化：连续采样残差连接，并且输出分辨率不变，可以增大感受野，让模型自己适应目标区域的尺寸

RefineNet 和 UNet 的区别？

• RefineNet 创新点在于 decoder 的方式，不同于 [[UNet]] 在上采样后直接和 encoder 的 feature map 进行级联，本文通过 RefineNet 进行上采样，把 encoder 产生的 feature 和上一阶段 decoder 的输出同时作为输入，在 RefineNet 中进行一系列卷积，融合，池化，使得多尺度特征的融合更加深入