PAN

什么是 PANet？

• 
• 一种多尺度融合底层位置信息及深层语义信息的实例分割网络，它在 FPN 的基础上增 Bottom-up Path 完成的
• 引入 Bottom-up 路径是为了让底层的位置信息经过较少的层就可以传到高层。如上图红线：是 FPN 将位置信息传递给高层的路径，因为要经过整个 BackBone，所以路径很长，位置信息有丢失；绿线是 PAN 的路径，其传递不经过 BackBone，所以路径较短

PANet 的网络结构？

• 
• PANet 实例分割的检测思想和 Mask RCNN 类似，区别在于 Mask RCNN 使用 FPN 产生多尺度信息，而 PANet 使用 PAN 模块
• 首先，通过 PAN 模块提取多尺度输出，然后分别接 RPN 得到候选框
• 最后，将所有候选框框合并和使用 2 个分支去回归候选框的位置、类别及 Mask

PANet 实例分割的原理？

• 
• 参 Mask RCNN 的过程
• 1）PANet 先通过 RPN 获得目标的候选框，
• 2）通 ROIAlign 提取 ROI 特征，然后通自适应特征池化 (Adaptive Featrue Pooling) 融合多尺度获选框的 ROI 特征
• 3）最后在 ROI 融合特征的基础上做边界框回归、类别判定以及 mask 预测

PANet 的 Bottom-up Path?

• 
• Bottom-up Path 结构图中 N2=P2，N3~N5 都是通过下面的卷积结构计算得来
• 通过将位置信息快速传递到高层，有利于提高 bounding box 的回归精度

PANet 的自适应特征池化 (Adaptive Featrue Pooling)?

• 
• 自适应特征池化将单层特征换成多层特征，即每个 ROI 需要和多层特征 (N2~N5) ROIAlign 的操作，然后将得到的不同层的 ROI 特征融合在一起，这样每个 ROI 特征就融合了多层特征

PANet 的 Fully-connected Fusion?

• 
• PNA 分割时，对于大小为 HWC 的特征，在 FCN 的基础上引入输出为 HW 的全连接支路，用于监督每个像素的前景、背景分类，比如 Mask 是 28 x 28，那么这个分支输出是 781 x 1 x 1