论文总结 - Image Style Transfer Using Convolutional Neural Networks

读论文学算法

Image Style Transfer Using Convolutional Neural Networks

论文作者：Leon A.Gates, Alexander S.Ecker, Matthias Bethge

1 综述

现阶段存在的问题：目标图像被提取的content feature为低等级特征。

论文目标：提取资源图像的风格特征以及目标图像的高级特征进行渲染。

解决手段：新算法 - A Neural Algorithm of Artistic Style, 基于DCNN体系提取艺术风格与内容元素

2 实现细节

2.1. 深度图像表示

利用VGG-19网络提取图像特征，且网络进行了调整。

a. Network Normalization by scaling the weights.

b. 未使用全连接层.

c. max pooling 被替换为 average pooling.

2.2 目标图像内容提取

a. 随机产生一张噪声图。

b. 建立误差方程模型。该误差函数表征为：目标图像对象在特定卷积层产生的特征与随机噪声图像在该卷积层的特征间的距离

c. 设计目标误差方程。在这一过程中, 最终旨在针对初始的随机噪声图的像素值进行调整, 目标是通过噪声图能够在特定卷积层生成与目标图像具有相同特征的效果。

d. 对于内容特征而言，在本研究中所选择的目标卷积层是基于其特性进行筛选后的高级卷一阶特性筛选后的高级卷

2.3 资源图像风格提取

a. 随机产生噪声图。

b. 定义误差方程。wl为每个卷积层的误差权重。

where

c. 由于风格像素的获取依赖于多个卷积层的操作，在分析各层之间的关系时需要注意correlations的影响。请注意：Aij同样应该体现经过correlations后的风格特性。

d. 利用反向传播优化误差方程。

2.4 风格转移

基于上文所述的内容和风格提取方法，我们可定义全局误差方程。

a. α 以及 β 为内容和风格权重.

b. 最终所优化的值为噪声图像素值。

c. 风格图像用于被缩放为内容图像大小。

d. 使用了L-BFGS无约束优化算法进行优化迭代。

下图描述了整体的计算方法。

3 结果讨论

在本文中所采用的内容层是'Conv4_2'。 style层包括以下几部分：'Conv1_1', 'Conv2_1', 'Conv3_1', 'Conv4_1'以及'Conv5_1'等部分，并且每个层所对应的误差权重设置为三分之一的比例

b. α 和 β 分别代表主体内容与艺术风格的权重系数。其中α值越大，则生成的图像越趋向于现实风格；而β值增大，则生成的艺术风格越显著。请参考下图以获取结果展示示例

c. 采用多层次递进式的卷积核结构来解析风格信息的主要目标是为了生成更加平滑的图像。

d. 采用高级卷积核进行特征提取是因为其能够生成全局特征；这种做法会忽视像边缘这样的低级特征（参考下图）。这有助于不同风格的融合。

4. 待解决问题

a. 在视觉生成过程中耗时较长，并参考**Perceptual Losses for Real-Time Style Transfer and Super-Resolution**中的理论框架进行优化

b. 在执行照片合成的过程中，在处理阶段中发现风格特征提取的效果不够理想。