深度神经网络中的内容与风格
德国图宾根大学的研究者发现，一个用于图像识别的深度卷积神经网络，能够将图片的“内容”和“风格”分离开来。他们通过观察发现，在网络的较深层次，神经元的激发值可以还原图片中的物体，但会丢弃掉风格细节（下图上半部分）。
相反，神经元激发值之间的相关性则体现了色彩分布等风格信息（下图下半部分），而且随着网络层次的加深，神经元感受野逐步扩大，所代表的风格信息在空间尺度上也越来越大。
神经网络中对内容与风格的表示。图片来源：Gatys et al., 2016.
拓展阅读：神经网络中的风格矩阵
图片的风格体现在神经元激发值之间的关系矩阵上。那么，如何计算这个关系矩阵呢？设在卷积神经网络的第m层中有N个激活平面。我们将第i个激活平面表示为一个长向量F(m,i)。通过计算不同激活平面之间的关系，可以得到风格矩阵。
明确了内容和风格在神经网络中的表示方式后，可以采用一种“迭代更新法”来复现任意图片的内容或风格。例如，我们要复现某一参考图片C的内容。首先随机初始化一张噪声图片A，对该图片逐渐调整，使其在某一卷积层上的激发值F(A) 一点点趋近于参考图片在该卷积层上的激发值F(C)。调整过程一般采用梯度下降算法，损失函数是F(A) 和F(C) 之间的平方误差，即 ||F(A) −F(C)||2。下图展示了这一调整过程。
