SDN

SDN 通过堆叠多个反卷积子网络，并通过跨连接联通他们之间，实现更好的语义分割效果

什么是 SDN？

• 
• 堆叠反卷积网络（Stacked Decovolutional Network）通过堆叠多个编码器和解码器实现效果提升，叠加了多个浅层反卷积网络来捕获多尺度上下文信息，保证了目标位置信息的精细恢复
• SDN：采用单元内和单元间的密集连接来增强整个网络中的信息流动和梯度传播。特别是单元间的连接使得不同单元之间的多尺度信息有效地重复使用
• 分层监督：对每个 SDN 单元的分层监督，因为网络的前几层可以获得更多的梯度反馈。此外它保证了通过每个单元上采样得到的特征之间的区分度

SDN 的网络结构？

• 
• BackBone：采用 DenseNet-161 作为第一个解卷积网络的编码器模块，对 ImageNet 进行了预先训练
• SDN 单元：由两个下采样块和两个上采样块组成。每个下采样（上采样）块从一个汇集层开始，跨越几个卷积层并以压缩层结束
• 多尺度输出：在每个上采样过程中共同采用多层次特征图的层次监督，以保证输出预测的区分。在推理步骤中，我们只使用最后一个单位的最高分辨率结果作为最终预测

SDN 的反卷积网络（SDN 单元）？

• 
• SDN 单元具有编码器模块和对应的解码器模块。在编码器模块中，我们堆叠两个下采样块，以扩大网络的接收域，导致特征图的低分辨率。在解码器模块中，上采样块被使用两次以实现特征图的更精细的重建

SDN 的 SDN 单元之间的密集连接？

• 
• 为了提高网络的学习能力，一些浅层 SDN 单元叠加成一个非常深入的模型。同时，引入单元间连接，使跨不同单元的多尺度信息有效重用
• 任何两个相邻 SDN 单元之间的跳过连接用于促进高级语义信息的流动，并改进编码器模块的优化。对于给定的 SDN 单元，其编码器模块通过快捷路径利用其先前单元中的解码器模块的中间特征

SDN 的层级监督？

• 
• 更深入的网络导致更好的性能。然而训练更深层网络的难度成为一个主要问题。我们用随机初始化堆叠多个浅层卷积网络，这导致额外的优化难度根据以前的设计，使用单元间和单元内连接来辅助训练。为了进一步缓解这个问题，在每个 SDN 单元中加入层级监督
• 看以看出，分层监督使得 SDN 的结果变得越来越好