StyleTransfer：Image Style Transfer Using Convolutional Neural Networks

发表于 更新于 分类于 ， ， ， 阅读次数： 本文字数： 390 阅读时长 ≈ 1 分钟

什么是 StyleTransfer ？

  • 在 CNN 上将图像的内容和风格分离出来，使用两个分支分别学习内容和风格，在第三分支融合图片，实现风格迁移

StyleTransfer 的网络结构？

  • 上图 a 是目标风格图片，p 是原图，x 是迁移后的风格图片，首先使用不同分支分别学习 a 和 p，然后将 a、p 输出第三分支，第三分支的输出与 a 分支计算风格损失，与 p 分支计算内容损失，然后更新 3 个网络，随着损失的下降，第三分支输出的图片越来越像风格迁移后的图片
  • 在训练时，使用不同层次的网络输出计算损失，并且 x 初始化为 white noise 图片，一次又一次的迭代后， white noise x 会逐渐产生我们想要的图片：具有 p 的内容，同时具有 a 的风格

StyleTransfer 的损失函数？

  • StyleTransfer 包含 2 部分损失
  • 内容损失：直接计算图片的 MSE 损失即可
  • 风格损失：计算两种图片的 Gram 矩阵，然后比较两个矩阵的差异即可