news 2026/8/6 14:32:38

样式迁移

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
样式迁移

样式迁移

定义:将样式图片上的样式迁移到内容图片上得到合成图片

实线箭头和虚线箭头分别表示前向传播和反向传播

风格迁移常用的损失函数由3部分组成:

(1)内容损失使合成图像与内容图像在内容特征上接近;

(2)风格损失使合成图像与风格图像在风格特征上接近;

(3)全变分损失则有助于减少合成图像中的噪点。

数据预处理:


图片尺寸resize,图片RGB数值归一化,图片格式从 (H,W,C) → (C,H,W) → (1,C,H,W)

数据后处理:

将CNN输出转化为“能看的”图片

模型使用VGG-19

选择相应的层作为内容层和风格层输出

深层特征保留物体结构、空间布局,去掉过多细节

从浅到深覆盖不同尺度的纹理:边缘→纹理→图案→全局风格

裁剪VGG,只保留需要的层

逐层提取特征:

风格迁移有三张图参与:

内容图像(固定不变),风格图像(固定不变),合成图像(每轮都在变)

提前算好内容目标和风格目标:

损失函数(内容损失,风格损失,全变分损失)

内容损失,利用均方误差:

风格损失:

Gram矩阵来定义什么是风格

给定一个特征图(CNN 某层的输出),把它拉平成矩阵 X (形状为 c×hw)

注意这里需要最后的数值归一化,避免出现较大的值影响判断

这样就可以基于gram矩阵来通过均方误差得到误差:

全变分损失:

是风格迁移中的"去噪器":它惩罚相邻像素之间的剧烈跳变,让合成图像更平滑自然。

本质:遍历每个像素,计算它和右边、下边两个邻居的差异,全部加起来。

风格转移的损失函数是内容损失、风格损失和总变化损失的加权和。 通过调节这些权重超参数,我们可以权衡合成图像在保留内容、迁移风格以及去噪三方面的相对重要性。

初始化合成图像:

合成的图像是训练期间唯一需要更新的变量。因此,我们可以定义一个简单的模型SynthesizedImage,并将合成的图像视为模型参数。模型的前向传播只需返回模型参数即可。

因为 MXNet/Gluon 的 Trainer 只能优化 nn.Block 的参数。我们套一个"模型壳",让框架以为我们在训练模型,实际上训练的是图像像素。使用Adam优化器(框架内部组件)

训练前的准备工作:

创建"模型",参数 = 图像像素

init.Constant(X):用内容图像素初始化合成图。一开始合成图 = 内容图原样

gluon.Trainer(..., 'adam', ...):Adam优化器,学习率 lr。优化对象是合成图像素

预计算风格图5个层的Gram矩阵(训练时不再重复算)

整体的训练模型:

核心循环:

extract_features(X, ...):合成图 X 过VGG网络,在目标层"截获"特征

compute_loss(...):比较合成图和内容图/风格图的特征差异,得到总损失 l

trainer.step(1):Adam优化器根据梯度,更新 X 的像素值

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/6 14:32:36

完全指南:如何通过Wand-Enhancer实现游戏修改体验的终极优化

完全指南:如何通过Wand-Enhancer实现游戏修改体验的终极优化 【免费下载链接】Wand-Enhancer Advanced UX and interoperability extension for Wand (WeMod) app 项目地址: https://gitcode.com/GitHub_Trending/we/Wand-Enhancer Wand-Enhancer是一款开源的…

作者头像 李华
网站建设 2026/8/6 14:30:22

纯静态架构黑客无法发起网络攻击,企业官网网络安全保障

网络安全的前沿防线:企业官网的安全保障在信息化的时代,企业官网不仅是品牌形象的展示窗口,更是业务发展的重要支柱。然而,网络攻击的威胁无处不在,如何确保官网的安全性成为企业亟待解决的问题。本文将探讨通过纯静态…

作者头像 李华
网站建设 2026/8/6 14:29:38

CoordTransform 企业级坐标转换架构设计与最佳实践指南

CoordTransform 企业级坐标转换架构设计与最佳实践指南 【免费下载链接】coordtransform 提供了百度坐标(BD09)、国测局坐标(火星坐标,GCJ02)、和WGS84坐标系之间的转换 项目地址: https://gitcode.com/gh_mirrors/c…

作者头像 李华
网站建设 2026/8/6 14:27:08

AI Agent提示注入攻击:原理、风险场景与安全防护实践

这类工具最值得先看的不是功能列表,而是能不能在普通环境里稳定跑起来。GitHub Copilot、AI Agent这类开发辅助工具,现在很多团队和个人都在用,它们能帮你写代码、补注释、甚至生成测试用例,效率提升是实打实的。但最近出现的一些…

作者头像 李华
网站建设 2026/8/6 14:26:46

基于环信IM与大模型构建智能对话系统实践

1. 项目概述:基于环信IM构建大模型对话系统 环信IM作为国内领先的即时通讯云服务,与大模型技术的结合正在重塑人机交互体验。这个项目本质上是在环信IM的通讯架构上,嫁接大模型的自然语言处理能力,实现智能对话场景的快速落地。不…

作者头像 李华
网站建设 2026/8/6 14:25:22

解决流量绕行难题:交换机PBR引流至区域防火墙部署实践

一、背景 随着企业数字化转型的深入,业务系统不断上云,数据中心网络规模持续扩大。传统的“核心-汇聚-接入”三层架构虽然保证了数据的快速转发,但也使得网络边界变得日益模糊。 东西向流量激增:以往的安全防护重点集中在网络出口(南北向流量),但现在数据中心内部服务器…

作者头像 李华