RePaint

发表于 更新于 分类于 ， ， ， 阅读次数： 本文字数： 772 阅读时长 ≈ 1 分钟

什么是 RePaint ？

  • 利用 DDPM 模型做图像修复 (Inpainting) 的算法，其原理是利用已知部分预测未知部分，核心操作是基于已知部分加躁，然后在 xt−1x_{t-1} 时拆分为估计已知部分和未知部分，通过线性组合这部分完成图像修复

RePaint 的原理？

  • 在第 t 步时，上半图的上边 pipeline 表示由 x0knowx_0^{know} 加躁得到 xt−1knowx_{t-1}^{know}，而下边 pipeline 表示由 μθ(xt)\mu_{\theta}(x_{t}) 得到 xt−1unknowx_{t-1}^{unknow}，其中 xt=q(xtknow)x_t=q(x_t^{know}), 最后将 xt−1know、xt−1unknowx_{t-1}^{know}、x_{t-1}^{unknow} 进行线性组合，得到前一时刻的去躁结果 xt−1x_{t-1}，重复以上步骤，就能得到修复后的图片
  • 发现，如果单纯执行上述步骤，恢复的结果还是不太和谐，因此又提出了 ** 重采样（Resampling）** 的操作。具体而言，对于每一步 t ，利用上图算法生成 xt−1x_{t-1} 后，再对其进行加噪得到 xtx_{t} ，进而再执行一次图 1 算法再次得到 xt−1x_{t-1} ，这样的操作称为重采样
  • 线性组合使用了 m 进行加权，这是 Mask 图

RePaint 的重采样？

  • 上图是分别使用 1-20 次重采样的结果，可以看出重采样越多，结果越好

RePaint 的类别引导修复？

  • 修复过程中，加入类别引导，生成了类似图片

参考：

  1. 基于 DDPM 的简单的 Inpainting——RePaint 和 RePaint+ - 知乎