PerceptualLosses:Perceptual Losses for Real-Time Style Transfer and Super-Resolution

本文提出了风格迁移中一种重要的损失函数,感知损失,使得模型生成的图片和目标风格更像
图 A + 图 B-> 图 A 参考图 B 风格,图生图

什么是 PerceptualLosses ?

  • 风格迁移经典文章 StyleTransfer] 的改进篇,解决了模型迭代优化的问题,直接进行 end-to-end 训练,加速了模型训练过程

PerceptualLosses 的损失函数?

  • PerceptualLosses 网络是一个简单的 DCGAN 的思路,使用 GAN 生成目标风格图片 y^\hat y 后,通过 VGG-16 计算风格损失与内容损失
  • 内容损失:首先计算 y^,yc\hat y,y_c 在 relu 3_3 的输出,然后计算两个输出的 MSE 损失
  • 风格损失:首先计算 y^,ys\hat y,y_s 在 VGG-16 不同层的输出,然后计算输出的 Gram 矩阵,并通过 MSE 计算两个矩阵的差异,实现风格损失的计算

参考:

  1. Perceptual Loss: 提速图像风格迁移 1000 倍 - 知乎
  2. 【精选】【损失函数:3】感知损失:Perceptual Loss、总变分损失(TV Loss)(附 Pytorch 实现)_NorthSmile 的博客 - CSDN 博客
  3. 感知损失 (Perceptual Losses) - 知乎
  4. (高能预警!) 为什么 Gram 矩阵可以代表图像风格?带你揭开图像风格迁移的神秘面纱!_gram 矩阵得到图像风格 - CSDN 博客