基于 Conditional Diffusion 的图片编辑应用,主要应用:图片上色(Colorization)、图片涂抹(Inpainting)、图片去裁剪(Uncropping)、JPEG 反压缩(JPEG decompression)
图片 A->VAE encoder->z + 噪声 ->z’->VAE decoder-> 图片 A’,条件图片

阅读全文 »

DALL-E-2 类似过程,但是 Imagen
直接基于文本信息扩散为低分辨的图片编码,然后再使用超分辨率网络上采样。结构更简单)

  1. (图片,文本)<->CLIP-> 图片编码,文本编码
  2. 文本编码 ->DDPM-> 图片编码
  3. 图片编码 -> 超分辨率网络 -> 高分辨率图
阅读全文 »