RegNet：Designing Network Design Spaces

发表于 2022-08-19 更新于 2023-10-24 分类于 2-深度学习， B-图像分类阅读次数：本文字数： 2.2k 阅读时长 ≈ 2 分钟

论文提出了一种新的网络设计范式，和以往研究不同的是他们没有专注于设计单个网络实例，而是设计出了参数化网络群的网络设计空间。这种新的网络设计范式结合了神经框架搜索(NAS)和手工设计网络的优点，精度和速度全面超越了EfficientNet

什么是“设计空间设计”？

设计空间是一个巨大的，可能无限的模型结构的总体。的核心观点是，我们可以从一个设计空间中对模型进行抽样，产生一个模型分布，然后利用经典的统计工具来分析设计空间。本文注意到，这和架构搜索（NAS）不同，架构搜索的目标是从空间中找到单个最佳模型
如图所示，本文使用的整体策略是渐进式地设计原始的、相对不受约束的简化版设计空间，同时保持或者提升设计空间的质量。每个设计步骤的目的都是发现设计准则，从而产生更简单或性能更强的模型

为了评估和对比设计空间，RegNet 提出通过从设计空间采样一组模型，并描述由此产生的模型误差分布，来量化设计空间的质量。这种方法背后的关键是，与使用搜索和比较两个设计空间中的最佳模型相比，比较分布更加可靠且信息更丰富
图示展示了用个抽样模型计算的AnyNetX设计空间的统计结果。左：误差经验分布函数（EDF）是我们可视化设计空间质量的基本工具。在图例中，分别是最小误差和平均误差（对应于曲线下的区域）。中间：网络深度（块数）与误差的分布。右：第四阶段（）的块宽度分布与误差。蓝色阴影区域包含置信度的最佳模型（通过经验引导获得），黑色垂线是最可能的最优值

d代表block的数量，r代表分辨率简单理解为特征矩阵的高、宽，当步距s等于1时，输入输出的r保持不变，当s等于2时，输出的r为输入的一半。w代表特征矩阵的channel。g代表分组卷积中每组的通道数。b代表botleneck ratio即输出特征知阵的channel缩减为输入特征矩阵channel的1/b(因为我们知道resblock中常用操作就是先降维再升维)
AnyNetXA: d <=16，W <=1024 (8倍数), b={1,2,4}, g={1,2,4,8,16,32}，但是4个 stage 这样组合太多了 $(16\cdot128\cdot3\cdot6)^4\approx10^{18}$
AnyNetXB：现不同 stage 的 block 设置一样的 b，在 imagenet 上训练10个 epochs，跟搜索的结果差不多，所以就把所有 b 统一为一样的。感觉有点偷懒的嫌疑，毕竟算力有限
AnyNetXC：将所有 stage 中的 block 的 g 都设置为同一个参数后并没有什么明显的变化。并且作者发现当 g > 1时，效果会更好
AnyNetXD：好的模型中 w 是呈现递增的趋势
AnyNetXE：好的模型 d 同样有递增的趋势 (这个趋势仅指 stage1到 stage3，不包括 stage4)
一点点增加约束，搜索空间迅速下降，最后的 RegNet 作者认为一个 stage 的所有 block 的 $w_i$ 应该是一致的

不同于 EfficientNet 使用 NAS 基于 baseline 网络去搜索深度、宽度、分辨率、成本和准确率、时间之间的关系，RegNet 连 baseline 也是在搜索的空间上
如上图分别是 3 个设计空间下，采样模型跑出的结果，看以看出从 A->B->C 搜索空间越来越小，模型性能越来越好

相辅相成：现阶段的 NAS 的许多设定 (比如说 search space) 还是靠着人的智慧在设定，这代表 NAS 还是必须先借镜许多 handcraft 的 insight，另一方面，人类也会试图从 NAS 找出来的架构中得到一些 insight。因此，NAS 与 handcraft 目前可以说是相辅相成的
NAS 的优势在于找出对于任务最优势的架构，然而极强的目的性也带来了泛化性的不确定，可解释性比较差。但是其在object detection或 semantic segmentation中已经展现了强大的能力，泛化能力乍看无懈可击

参考