这个话题我得从选毕设题目的那几周说起。当时摆在面前的选择很多，图像分类、目标检测、语义分割、推荐系统……但最后我选了"基于深度学习的图像美学和情感联合评价算法研究"，技术方案锁定在GNN+Transformer，再套一个Flask Web系统做可视化演示。理由其实很朴素：它把"审美"和"情绪"这两件看起来主观到没法量化的事情，放在了一个模型里建模，最后还能做一个能上传图片就出结果的网页系统。这种"算法研究+系统落地+答辩展示"三位一体的项目，对计算机毕设来说，性价比非常高。
这篇文章我会把整个项目从头到尾复盘一遍：为什么把美学和情感联合起来做、GNN和Transformer分别承担什么职责、数据集和预处理怎么做、联合训练的损失函数怎么写、Flask系统怎么搭、答辩时我最怕被问到什么。适合三类人参考：正在愁毕设选题的本科生，想把"多任务学习+Web部署"写进简历的求职者，以及纯粹好奇图像美学评价（IAA）和图像情感分析（SA）这两个方向怎么结合的研究者。
1. 为什么"美学+情感"要放在一起做：课题立意的关键思考
1.1 单任务评价的天然局限
图像美学评价（Image Aesthetic Assessment）解决的是"这张图好不好看"的问题，通常输出一个分数，指标涉及构图、色彩和谐度、光影对比、主体突出程度、景深控制等。图像情感分析（Sentiment Analysis for Images）解决的是"这张图让人产生什么情绪"的问题，输出类别或者维度值，比如喜悦、悲伤、平静、激动，或者在效价-唤醒度（Valence-Arousal）坐标系里给坐标。
传统做法是两条独立路线：美学评价走"感知质量回归"的路线，情感分析走"语义分类"的路线。但我在实际跑实验时发现一个非常明显的问题——人对一张图的感受，从来不是先评完分再去体会情绪。看到一张黄昏下孤独行人的照片，你会同时觉得"构图很美"和"情绪很伤感"，这两个判断共享同一套视觉特征，只是从不同角度解读而已。
强行拆成两个任务，等于把同一个感知过程切成两半：一半模型只学构图和色彩，另一半模型只学语义和情绪，彼此之间没有任何信息交换。这在真实的图像理解需求里是不够自然的。做"联合评价"最直接的收益是：特征被两个任务共用，模型被迫学习到更全面的视觉表征，而不是只对单一标签过拟合。
1.2 联合评价带来的工程与学术双重收益
说点实际的。毕设项目要进答辩现场，评委最看重的三件事：工作量够不够、创新点清不清楚、系统能不能跑起来。单做一个美学评价模型，容易被认为是"套一个预训练CNN换数据集的调参练习"；单做一个情感分析，也容易被质疑"情感分类不是有现成模型吗"。
但把美学和情感联合起来，情况就完全不一样了。从学术角度看，这是一个标准的"多任务学习"（Multi-task Learning）问题，需要设计共享特征提取、多分支预测、联合损失函数，消融实验也有得做——对比单任务基线、对比不同融合方式、对比不同骨干网络。从工程角度看，模型输出同时包含美学分数（连续值）和情感类别（离散值），要统一进一个Web系统展示，前后端交互、模型部署、结果可视化全都涉及。
用我的话说，这个课题天生自带"故事线"：从视觉感知的完整性出发，提出联合评价的必要性；用双分支架构去实现它；再用系统去验证它。整个逻辑闭环是完整且自洽的，这就是答辩时的底气。
1.3 创新点的边界：不是堆模型，而是重新组织任务
把创新点讲清楚很重要，但也别吹过头。GNN+Transformer的组合在2024年前后已经不算前沿了，真正让这个课题站得住的，不是"我用了两个高级模型"，而是"我为什么要用两个不同的网络结构去做一件事"。
我的理解和解释是这样的：在图像美学与情感联合评价里，存在两种互补的信息。一种是"局部区域之间的关系"，比如主体和背景的分离度、前景和陪体的呼应、颜色区块之间的和谐与否——这类信息天然适合用图结构建模，区域是节点，关系是边。另一种是"整张图的全局语义依赖"，比如画面整体传达的氛围基调、远处元素对情绪的影响——这类信息适合用Transformer的自注意力机制捕捉全局上下文。GNN管"局部与局部怎么搭配"，Transformer管"全局与局部怎么统一"，两者各司其职，最后融合输出。这样答辩时解释架构设计，评委就不会觉得你只是在堆模型。
2. 双分支联合评价框架的设计与模型选型：GNN和Transformer各司其职
2.1 双分支框架的整体结构
我采用的方案是在一个统一的骨干网络之上，并行接出两个分支，最后融合预测。整体结构可以概括为：输入图像 → 骨干CNN提取特征图 → 特征图划分为区域节点 → GNN分支建模区域关系 + Transformer分支建模全局依赖 → 门控融合 → 双输出头（美学分数回归头、情感分类头）。
具体参数上，骨干网络用的是ResNet-50，输入尺寸统一为336×336，取倒数第二层输出的特征图（大小约10×10×2048）。把特征图看成一个10×10=100个区域的网格，每个区域对应一个空间位置，每个节点用2048维向量表征。这个"区域划分"操作是后面GNN和Transformer共同的输入基础。
选ResNet-50当骨干而不是直接上更重的模型，主要考虑了训练成本和答辩现场的推理速度。我试过用更深的网络做骨干，效果提升其实有限，但显存占用和推理时间明显上涨，在单张12GB显存的卡上跑batch size还要往下调，得不偿失。对于毕设这个量级，ResNet-50完全够用，而且有成熟的预训练权重可以加载。
提示：这里有一个小陷阱——特征图区域分得太细，GNN的节点数量就会暴增，图注意力机制的计算量呈平方级上涨；分得太粗，区域语义不够纯。我实测10×10的划分在效果和速度之间比较平衡。
2.2 GNN分支：为什么用图结构而不是规则网格
最初的方案里，我想过用普通的卷积层做区域关系建模——用3×3卷积在特征图上滑动，让邻近区域互相交换信息。但很快发现这有个根本问题：卷积的感受野是局部的，只能建模"空间上相邻"的区域关系，而美学评价里的很多关系是"非局部的"。比如一张美食摄影图，主体餐盘在画面中央，背景虚化到几乎没有纹理，此时主体区域和背景区域在空间上确实相邻，但在语义上关系很弱；反过来，画面左下角和右上角可能色调呼应，相距很远却有密切的视觉联系。用卷积滑动窗口去联系这两个区域，需要堆很多层才能凑出足够大的感受野。
图结构没有这个限制。我把100个区域当作100个节点，在任意两个节点之间都可以连边，边的权重由两部分决定：区域之间的空间距离（欧氏距离）和特征余弦相似度。这样主体区域可以和远处色彩呼应的区域直接建立连接，第一个聚合层就能完成非局部信息交换。
图卷积层的具体形式我选的是图注意力网络（GAT）。相比普通的GCN按固定权重聚合邻居，GAT会给不同的邻居学习不同的注意力权重，正好契合美学评价里"不同区域对整体美感的贡献不同"这一直觉。例如一张人像照片里，人物面部区域对美学分数的影响显然大于背景的一块纯色区域，GAT可以自动学会把更大的注意力权重分配给关键区域。
每个GAT层的输出维度我设为512，堆叠两层GAT，两层之间加残差连接和LayerNorm。残差连接非常重要——图网络在训练初期梯度不稳定，没有残差的话，偶尔会出现Loss直接变成NaN的情况。
2.3 Transformer分支：全局语义依赖的编码器
Transformer分支解决的是另一层问题。情感判断往往是"全局氛围"的产物——一张图是否压抑，可能取决于整个画面的色调统一性、主体位置的居中感、明暗过渡的节奏感。这些都是需要从全局维度才能捕捉的信息。我的做法是把骨干网络输出的特征图展平成序列：10×10×2048 → 100个patch token，然后加上可学习的位置编码，送入两层Transformer Encoder，每层4个注意力头，前馈网络的隐藏维度是1024。
这里有个值得说的细节：Transformer的注意力权重非常好解释，回头可以在Web系统里把注意力图可视化出来。比如输入一张海滩日落的图，注意力权重往往会集中在夕阳所在区域和海水反光区域，这对答辩演示是加分项。评委看到的不只是一个打分系统，还能看到模型"把注意力放在了哪里"，这种可解释性展示，很多时候比涨两个点的指标更能说明问题。
Transformer分支输出的序列经过一个全局平均池化，得到一个512维的全局特征向量。注意，这个分支我刻意没有做分类头，而是让全局特征向量去和GNN分支的区域聚合特征做融合。因为这里的定位就是"特征提取器"，而不是"独立分类器"。
2.4 特征融合方式：不是简单拼接，而是门控加权
两个分支得到特征后，面临一个很实际的问题：怎么融合？最土的做法是直接拼接后接全连接层，但我做消融实验时发现效果一般。分析原因，两个分支的特征尺度不一致，GNN特征更偏向"结构关系"，Transformer特征更偏向"全局语义"，直接拼接等于让全连接层自己去学权重，不仅参数量大，还容易互相干扰——尤其在联合训练初期，美学分支的梯度和情感分支的梯度方向不一致，拼接层很容易震荡。
我最后采用的方案是一个轻量门控融合层：
class GatedFusion(nn.Module): def __init__(self, dim=512): super().__init__() self.gate_proj = nn.Linear(dim * 2, 1) def forward(self, feat_gnn, feat_global): # feat_gnn: [B, 512] GNN分支聚合特征 # feat_global: [B, 512] Transformer分支全局特征 combined = torch.cat([feat_gnn, feat_global], dim=-1) gate = torch.sigmoid(self.gate_proj(combined)) # 0~1门控标量 fused = gate * feat_gnn + (1 - gate) * feat_global return fused门控向量是一个可学习的0到1之间的小数，相当于让模型自己决定：对于当前这张图，是"区域关系信息"更重要，还是"全局语义信息"更重要。实测下来这个方案比简单拼接涨了大概2到3个指标点，而且是稳定的涨，不是某几个batch的偶然波动。这个模块实现成本极低，却能在答辩时讲出"可学习的自适应融合策略"这样的亮点。
3. 数据集构建与预处理：从图像到可训练样本的细节决策
3.1 数据来源与标注对齐
做联合评价，第一个拦路虎是数据。开源领域里，美学评价数据集和情感分析数据集往往是分开的：美学数据集提供质量分或偏好排序标签，情感数据集提供情绪类别标签。项目要求两个模型联合训练，就必须找到能同时提供两类标签的图像样本。
我的做法是构建一个"标签对齐"流程。先以一个较大规模的图像美学数据集作为基础样本池，这个数据集里每张图都有美学评分；然后对池中的每一张图，用情感分类的方式补充情感标签。具体实施时，我没有全部靠人工标注，那样成本太高了，而是先找少量样本做一个"预标注+人工修正"的循环：
- 第一轮：用现成的预训练情感分类模型给样本池打初标。
- 第二轮：抽样人工复核，发现某几类（尤其是"平静""敬畏"这类中性情绪）误标率很高。
- 第三轮：将误标率高的类别重新筛出来单独处理，或直接从样本集里剔除。
最终整理出的训练集大约1.2万张有效样本，每张同时带一个美学分数和一个情感类别标签。类别我控制为6类：喜悦、悲伤、平静、激动、敬畏、厌恶。6类比8类或10类在训练时更容易收敛，并且答辩演示时按钮选项不会太散。
注意：联合评价的数据集构建是整个项目最耗时间的环节，没有之一。我前后花了三周反复清洗，比写模型的时间还长。如果时间紧，建议优先保证样本数量而不是类别数——6类×每类2000张的平衡配置，比10类×每类600张的稀疏配置好训练得多。
3.2 标签处理的常见思路
美学分数在原始数据集里是分布不均匀的，绝大多数图像的分数集中在中间区间，极高分和极低分都很少。直接用原始分数做回归，模型很容易学成一个"总是预测中位数"的平庸预测器。
我的处理是把美学分数做了两步变换。先归一化到0到1区间，再套一个幂变换放大高分与低分的差异。具体地，假设原始分数范围是1到5分，归一化后记为s，那么训练采用的标签是s的1.5次方。这个操作的本质是增加极端样本在损失函数中的权重，让模型更重视那些真正"好看"和真正"不好看"的图，而不是所有图都往中间值凑。事后证明这个简单变换对Spearman相关系数的提升很明显。
情感标签的处理比较常规，就是6类one-hot编码。但我额外做了一步：如果一张图的预标注置信度低于0.65，直接丢弃而不是强行归类。这类"模型自己都拿不准"的样本，往往是图像内容模糊或者构图混乱的案例，留着只会增加训练噪声。
3.3 预处理流程与数据增强策略
整套预处理管线我固定为五步：读取图像 → 短边等比缩放到尺寸≥384 → 中心裁剪到336×336 → RGB通道归一化（ImageNet的均值和方差） → 转Tensor。
训练阶段的数据增强，我用了一套组合策略，顺序固定：随机水平翻转、随机旋转（角度范围±15度，旋转后填充为0）、颜色抖动（亮度±20%，对比度±15%，饱和度±15%）、随机擦除（Random Erasing，擦除面积比例0.2到0.35）。Random Erasing对美学评价任务的效果特别好——它强迫模型不要只依赖某一个局部区域的纹理去打分，相当于一种结构化的正则化手段。
这里需要敲黑板强调一下：验证和推理阶段千万不要做随机增强，尤其是Random Erasing和颜色抖动。我在一次实验中错误地把验证集也走了增强管线，结果指标忽高忽低，极大极小值频繁出现，排查了很久才发现是验证数据不干净导致的。
3.4 样本不均衡：加权采样与类别平衡策略
情感类别天然不均衡，比如"喜悦"类的图远远多于"厌恶"类。如果不处理，模型会倾向于把所有图都预测成高频类。
我用的是两套策略并行。第一套是数据层面的加权采样：每个batch采样时，为低频类别分配更高的采样概率，保证每个batch里6个类别都至少出现一轮。第二套是损失层面的类别权重：在交叉熵中给低频类的损失乘一个权重系数，系数取值为"样本总数的倒数×类别样本数"，再归一化。双管齐下后，宏平均F1从0.58涨到了0.71，效果非常直接。
关于美学分支的"不均衡"——高分和低分样本少——用的就是前面提到的幂变换加重对极端样本的权重。这种"回归一端用幂变换，分类一端用加权采样"的差异化处理方式，也是答辩时值得展开讲的一个点：你有针对不同任务特性设计的定制化数据处理策略，而非一个通用流程套到底。
4. 损失函数与两阶段训练策略：联合模型真正落地的核心细节
4.1 多任务损失怎么组合：不确定性加权
联合训练有一个经典问题：美学回归损失和情感分类损失的数值范围不在一个量级。交叉熵损失通常是一个0到几之间的标量，而MSE损失的最小值可能非常小，如果在组合时不加控制，梯度会被数值更大的损失主导。
最开始我用的是固定权重：L = α·L_aesthetic + β·L_emotion，α和β手动调参。我花了整整一周的时间在调这两个权重，试过α=1但β=2、α=0.5但β=1等各种组合，结论是：固定权重非常不稳定，对初始值敏感，而且随着训练进程，最优权重还会自己发生变化。前期情感任务收敛快，回传的梯度大，会压倒美学任务；后期情感任务进入平台期，美学任务如果想加速学习，固定权重又不允许。
后来我换成了不确定性加权（Uncertainty Weighting）的方案。想法来源于多任务学习里的同方差不确定性：为每一个任务设置一个可学习的噪声参数σ，然后让损失函数的形式变成：
L = (1 / (2·σ²_美学)) · L_美学 + (1 / (2·σ²_情感)) · L_情感 + log σ²_美学 + log σ²_情感
这里的σ是模型通过反向传播自己学出来的。如果某个任务的噪声高（σ大），它前面的系数就会变小，相当于自动降低这个任务的权重；log项则防止σ膨胀到让权重失效。这个方案最大的好处是不用手调任务权重了，模型自己会根据训练数据的噪声水平去分配注意力。做了这个改动之后，训练过程平滑了很多，最后一个epoch的验证曲线几乎看不到明显震荡。我强烈建议所有做多任务学习的同学都用这个方案，省掉调权重的苦工。
4.2 两阶段训练策略：先各自预训练，再联合微调
我的第二个关键决策是采用"两阶段训练"而非"从零开始端到端联合训练"。具体安排是：
- 第一阶段：加载ImageNet预训练的ResNet-50权重，冻结骨干，先训练GNN分支和Transformer分支以及两个输出头。注意此阶段不设融合层，两个分支各自独立训练。这样做的好处是让两个分支先把各自的特征提取能力学到手，避免联合训练初期互相拖累。
- 第二阶段：解冻骨干网络，加上门控融合层，进入完整联合微调。骨干学习率设置为新接入模块的五分之一，融合层从零开始训练，学习率恢复到正常水平。
两个阶段各训练约40个epoch，第一阶段的学习率是1e-3，第二阶段骨干的学习率是2e-5，新增模块是1e-4。优化器统一用AdamW，weight_decay设为5e-4。训练到30个epoch左右warmup结束，进入主学习率阶段。
我在实验中验证过：跳过第一阶段直接端到端联合训练，验证集的准确率爬升非常缓慢，前15个epoch几乎只看得到损失在"原地打转"，而两阶段方案在第一阶段结束时就达到了单任务基线的九成水平。这个策略说穿了很简单——让新接入的GNN和Transformer模块先在一个稳定的特征空间里学会干活，再放开骨干去适配它们，顺序不能反。
提示：第一阶段的"两个分支各自独立训练"其实是变相消融实验：你可以在第二阶段结束后，回头只保留GNN分支或只保留Transformer分支去跑一遍单任务测试，数据就是现成的——这就是答辩时"消融实验"部分最扎实的素材。
4.3 评估指标与验证策略：把话说清楚
毕设答辩最怕的就是"模型效果说不清"。我的评估指标分成两组：
美学评价任务，首要指标用Spearman秩相关系数（ρ）和皮尔逊线性相关系数（PLCC）。这两个指标在美学评价领域是国际通用标准，评委大概率认识。Spearman关注的是"排序一致性"——模型打分高低的次序是否和人工打分一致；PLCC关注的是"线性相关的强度"。我最终的结果是Spearman在0.68左右，PLCC在0.72左右，作为毕设项目完全够用。
情感分类任务，用分类准确率（Accuracy）和宏平均F1（Macro-F1）。宏平均F1更看重低频类别的表现，因为前面说过类别不均衡，准确率容易被高频类别拉高，宏平均F1能更真实地反映每个类别的识别稳定性。最终结果：准确率0.75，宏平均F1 0.71。
验证集评估在每个epoch结束后进行，并且固定在同一个随机种子下做数据划分。数据划分按8:1:1拆成训练、验证、测试三份，划分时确保同一张图不会因为数据增强变体而同时出现在训练和测试里。
4.4 训练过程中的调参心得
分享几个踩出来的经验：
学习率warmup必须做。Transformer分支对学习率极其敏感，一上来就给大学习率，训练到第2个epoch就会发散，loss炸成NaN。我用了前10%的迭代做warmup（线性从1e-6升到目标学习率），之后就稳定了。
batch size在显存允许范围内尽量大。我试过batch size 8和32的区别，后者在情感分类准确率上高了约3个点。如果显存不够，优先降低输入分辨率而不是降低batch size，稳定性更重要。
梯度裁剪设为全局范数1.0。加了GNN分支之后，偶尔会有个别节点的特征出现极端值，梯度范数特别大，裁剪一下能有效防止训练过程突然崩掉。
早停策略别省。我用验证集的加权指标（0.5×Spearman + 0.5×Macro-F1）作为早停依据，连续8个epoch不提升就停止训练，然后回滚到最优checkpoint。这个机制避免了很多次"训练过度导致验证集泛化下降"的情况。
5. Flask Web系统搭建：从模型权重到可交互演示的工程化改造
5.1 为什么选Flask而不是其他框架
模型跑通了，下一步就是做成可演示的系统。技术选型我很早就定了Flask，没有犹豫。理由很务实：Flask足够轻量，整个后端逻辑就是几十行路由代码，不需要像Django那样配置数据库和管理后台；部署简单，一个Python环境就能跑起来，答辩时最怕的"环境起不来"风险最小；前后端分离也方便，用模板渲染加一点原生JavaScript就能完成交互，不依赖Node环境。
有些人推荐用Gradio或Streamlit，二十分钟就能拖出Demo界面，视觉还好看。我的建议是：如果是纯展示可以，但要作为计算机毕设答辩的系统演示，建议还是用Flask自己写一遍前端。因为Gradio把一切都封装好了，答辩时评委问你"前后端怎么交互""数据格式怎么定义"，你答不上来就很尴尬。自己写的Flask系统，每一行代码都是你的，每一个设计决策都能讲出理由。
5.2 后端结构与推理封装
后端代码我按功能分了三块：路由层、服务层、模型层。路由层只负责接收HTTP请求和返回响应；服务层负责调用模型做推理，并做前后处理；模型层负责加载权重和执行前向计算。三层分开的好处是，后面换模型或者增加新接口时不容易把路由逻辑弄乱。
核心的推理函数封装如下：
import torch import torch.nn.functional as F from PIL import Image from torchvision import transforms from model.net import JointAestheticEmotionModel MODEL_PATH = "weights/joint_model_best.pt" device = torch.device("cuda" if torch.cuda.is_available() else "cpu") net = JointAestheticEmotionModel(backbone="resnet50") net.load_state_dict(torch.load(MODEL_PATH, map_location=device)) net.to(device).eval() preprocess = transforms.Compose([ transforms.Resize(384), transforms.CenterCrop(336), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) @torch.no_grad() def predict(image_path: str): img = Image.open(image_path).convert("RGB") input_tensor = preprocess(img).unsqueeze(0).to(device) aesthetic_score, emotion_logits, attn_weights = net(input_tensor) aesthetic = float(aesthetic_socre.squeeze()) # 0~1范围 probs = F.softmax(emotion_logits, dim=-1).squeeze() emotion_idx = int(probs.argmax()) confidence = float(probs.max()) # 转成百分制美学分 aesthetic_100 = round(aesthetic * 100, 1) # 注意力权重可以转成热力图数据，返回给前端 return { "aesthetic_score": aesthetic_100, "emotion_label": EMOTION_CLASSES[emotion_idx], "confidence": round(confidence, 3), "attention_map": attn_weights.tolist() }这个函数里有几个细节值得说。一是模型加载放在模块顶层而非每次请求时加载，否则每点一次"提交"按钮都要重新载入几百MB的权重，推理延迟会从几百毫秒恶化到几十秒。二是输出包括attention_map，这是一个10×10的注意力权重矩阵，返回给前端后可以渲染成热力图，让用户直观看到模型"在看哪里"。三是推理放在了@torch.no_grad()下，省去梯度计算，推理速度快了约30%。
5.3 前端交互与结果可视化
前端我采用一个页面完成全部流程：顶部是标题和说明，中间是上传图片的组件（支持拖拽和点击选择），下方是结果展示区域。后端设置两个路由：首页路由/渲染页面，预测路由/predict接收POST上传的图片。
预测后的展示分为三块：
- 美学评分：用一个大号数字和进度条展示百分制分数，同时给出一个"优/良/中/差"的文字档位，方便视觉上快速判断。
- 情感标签：展示6类情感的概率分布条形图，最高概率类别用突出色标出。
- 注意力热力图：把attention_map放大到与原始图片同尺寸，叠加半透明着色，下方展示原图作为对照。
情感概率条形图我用了开源的ECharts库，因为它对本地离线环境友好，答辩现场如果没有外网，直接引用本地ECharts的JS文件也可以正常渲染，不会因为加载CDN失败而白屏。热力图则直接操作Canvas绘制，不依赖第三方库。
图片上传有一个安全边界必须处理：限制上传文件的类型为常见图片格式（.jpg、.jpeg、.png、.webp），限制文件大小为5MB以内，文件名用UUID重命名避免中文路径和特殊字符问题。这些细节在答辩演示时不容易出问题，但评委如果问"你的系统能不能处理异常输入"，你能答出这一套校验逻辑，印象分会高不少。
5.4 部署场景与性能优化
答辩现场的推理环境通常是不确定的，我在部署上做了两手准备：
- GPU可用时，自动走CUDA推理，支持并发请求。Flask默认是单进程单线程的，但加了
threaded=True参数后，可以用多线程处理并发请求。模型推理本身是纯GPU计算，多线程时多个请求同时调用net()没有问题，PyTorch在推理模式下是线程安全的。 - GPU不可用时，退回到CPU推理，这时候响应时间会慢很多，约3到5秒一张图。我在前端加了一个加载动画，并且提示"推理中，请稍候"，避免用户以为系统卡死了。
还有一个容易忽略的点是并发访问时的共享状态。模型推理阶段不能和其他请求共享有状态的对象，比如自定义的缓存容器。我花了一个下午踩过这个坑：第一次在服务层加了一个"最近推理结果"的字典缓存，结果两个请求同时写导致KeyError，后来改成直接不缓存，逻辑简单反而最稳。
6. 实测效果与踩坑记录：说点论文里不会写的真话
6.1 真实案例：模型实际表现如何
跑通全流程后，我拿了一批测试图逐个看效果。挑一个印象最深的例子：一张森林里晨雾弥漫的小径照片，左下角有一些矮矮的植物，右上角的光线从树缝穿透下来，画面整体偏青蓝调。
模型的输出是：美学分数82.3分（良好档位），情感类别"平静"，置信度0.78。我自己作为人的观感也差不多——构图有一点引导线意识，色调统一，确实有一种静寂的氛围。注意力热力图上，光线最强的那片区域权重最高，植物区域权重次之，而远景的模糊区域几乎没有获得注意力。这说明模型确实把审美判断的重点放在了光线和主体上，而不是均匀地扫描整张图。
但也有翻车的时候。有一张色彩极鲜艳的街头涂鸦照片，我自己的第一感受是"有点冲击力，但构图谈不上美"，可模型给出了90.5分的高分，情感类别判为"激动"（置信度0.64）。后来分析原因，这类高饱和高对比的图像在训练数据集里普遍评分偏高，模型学到了一种"色彩鲜艳=美"的偏置。这就是数据集的统计偏向问题，需要说明但在毕设中不必强行解决——在答辩中主动说出这个缺陷，反而比被评委追问后承认更好。
6.2 坑一：情感标注的主观性噪声
做数据标注时，最容易翻车的就是"平静"这个类别。我让几个同学帮忙对一小批样本标注，结果"平静"和"悲伤"的一致率只有55%，而"喜悦"和"激动"的一致率能到80%以上。后来发现原因在于：很多画面内容是中性的，观者会根据自己的心境投射不同的情绪——同样一张阴天的海边图，有人觉得平静，有人觉得孤独悲伤。这类主观判断的微小差异直接抬高了训练数据的噪声。
我的处理方案有两个层面。数据层面，对"平静"和"悲伤"两个易混淆类别增加人工复核轮次，并放宽剔除阈值，保证这两个类别样本的质量。模型层面，把类别数从8类压缩到6类，合并了"平静"和"敬畏"这两个最模糊的类别。压缩后情感分支的F1提升明显，减少类别间的纠缠比增加样本量更划算。
6.3 坑二：GNN图结构的设计决定上界
GNN分支是三个坑里让我花时间最多的一个。最初我尝试用超像素分割构建图节点，也就是先把图像切分成不规则的超像素区域，再把每个超像素当节点建图。听起来更符合直觉，一个超像素就是一块语义完整的区域，但实现复杂、速度慢，而且效果反而不如规则网格。原因在于超像素分割算法引入的不确定性很大，同一张图不同超像素参数会切成完全不同的结构，模型学到的"关系"变得不稳定。
后来改成规则网格（10×10）划分，反而稳定提升。这告诉我一个道理：对于美学评价这种任务，"区域划分的稳定性"可能比"划分的语义纯度"更重要。网格划分的确定性和可复现性，让GNN层可以稳定地学到"哪些位置组合会提升美感"，这个模式是可迁移的。超像素的"精确"反而带来了训练样本间的结构差异，干扰了图卷积层的学习。
6.4 坑三：联合训练初期两个分支互相干扰
两阶段方案提过之后，这里补充一个细节。第二阶段联合微调刚启动时，我发现在前三个epoch里，验证集的美学Spearman不升反降，从0.60掉到了0.56，而情感F1却小幅上升。这就是典型的"两个任务竞争共享空间"现象——在建了门控融合层之后，融合梯度的行为对骨干特征提出了新的要求，骨干需要重新调整以适应两个任务的联合需求。
我当时差点以为是融合层写错了，花了一个下午排查代码。后来发现是正常现象：骨干网络在从"单任务最优"过渡到"多任务最优"的过程中，会经历一个短暂的性能回退期。解决方法是耐心，把第二阶段训练轮数拉长到40个epoch，同时把骨干学习率进一步降低到2e-5，让网络缓慢而稳定地调整，最终在25个epoch左右突破了回退前的水平，再往后一路平稳上涨。
6.5 坑四：推理速度优化与答辩演示翻车预案
答辩前一周，我第一次完整走演示流程时发现：预加载模型后单张图推理约300毫秒（GPU），加上前端图片上传和JSON解析，总耗时接近2秒。这个速度在没人等待时还好，但一旦现场网络有波动或者图片比较大，就容易出现"卡住"的观感。
我做了一个比较彻底的优化：在Flask前端，图片在上传前先用Canvas压缩到最长边不超过800像素，再传给后端。这样网络传输体积从几MB降到两三百KB，后端预处理也略快。另一个优化是把模型封装成服务端常驻对象，首次请求只做一次权重加载，后面所有请求复用已经加载到显存里的模型。优化后整条链路稳定在1秒以内。
提示：答辩现场不确定因素很多，模拟演示环境用的是Windows笔记本，现场如果连不上独立显卡，CPU推理会拉到3到5秒一张。我当时的预案是：提前写好一批"漂亮案例图"和"典型翻车图"放在演示文件夹里，一旦现场推理过慢，就切换到"预生成结果展示"模式——直接查看事先跑好的结果截图，跳过实时推理。这个预案最后没有用到，但准备过的底气是完全不一样的。
7. 计算机毕设答辩的准备思路：如何把"联合评价"讲清楚
7.1 答辩叙事主线：递进式的"问题驱动"逻辑
答辩PPT我按四段式结构的思路来搭建，但每一段都在讲"为什么"而不是"做了什么"：
第一段是课题动机：直接抛出现实观察——人类对图像的美学和情感判断是同步完成的，传统分开建模的方式切断了共享表征，所以提出联合评价。这里配了一张对比图：左边是两个独立模型各跑各的，右边是双分支联合框架共享骨干网络，视觉冲击力很强。
第二段是方法设计：围绕"为什么是GNN+Transformer"展开。GNN对应局部区域的关系建模，Transformer对应全局依赖编码，门控融合负责自适应分配两者的贡献。核心话术是："它们的职责是互补的，而不是堆砌的。"
第三段是实验验证：完整呈现消融实验表格——去掉GNN分支、去掉Transformer分支、去掉门控融合、全部保留四种配置的指标对比。这是证明"每个设计都有用"的硬核证据。
第四段是系统演示：现场传图、现场看分数和注意力热力图，用真实数据说完整个故事。
整套PPT的时间控制在5分钟讲解、3分钟演示、2分钟答辩提问，总时长10分钟，符合大多数理工科毕设答辩的时间限制。
7.2 评委常问问题清单与应对方向
据我参加答辩的经历和听说的反馈，这个课题评委大概率会问这几类问题，我提前做了准备：
- "为什么美学和情感联合是合理的？"——用人的感知过程类比，说明两个任务是共享视觉特征的，分开是人为切分。
- "GNN和Transformer分别是做什么的？去掉一个会怎样？"——直接拿出消融实验数据回答，说明各自贡献。
- "联合训练会不会导致两个任务互相伤害？你怎么解决的？"——先承认确实存在干扰，再讲两阶段训练和不确定性加权损失的具体解决手段。
- "你的数据集标签靠谱吗？"——坦诚说明数据规模有限，主观标注存在噪声，但给出了类别合并、置信度过滤、人工复核这三层处理，并说明这是未来扩展到更大规模数据时的方向。
- "你的系统在什么环境部署？推理延迟是多少？"——准备好环境信息和响应时间数据，建议提前在演示电脑上测好。
- "你这模型和单纯用ViT做多任务分类有什么区别？特别是情感分支为什么不用多标签而是单选？"——这是个高难度问题，但问到了其实是加分机会。可以围绕"区域关系足以弥补缺失的局部信息"来回答，多标签会进一步加剧样本稀疏，6类单选在标注代价和任务表达力之间是更稳妥的折中。
7.3 演示环节三张图的排兵布阵
演示环节一定不要拿一堆图随机点着玩。我准备了三种类型的图，每一张都有明确的目的：
第一张是"标准优秀图"：构图教学级的风景照，模型会给出85分以上美学分和明确的"平静"或"喜悦"标签，让评委第一时间建立对系统的信心。
第二张是"跨任务交叉图"：一张情绪色彩很浓的图（比如雨天窗边的人物剪影），美学分数中等、情感标签"悲伤"置信度很高，用来说明两个分支确实在同时工作，而不是只偏向某一个任务。
第三张是"注意力热力图展示图"：选择主体非常突出的图（比如一只站在画面左侧的鸟，大量留白在右侧），热力图会明显集中在鸟身上，用于展示模型的可解释性。这张图最受评委欢迎，因为它让"黑盒模型"变得可视化。
三张图演示下来只需要40秒，但信息密度很高，基本覆盖了系统所有核心能力。
7.4 被问"创新点不够"时怎么顶住
这个课题最大的软肋是：GNN和Transformer都是已有组件，数据集是公开的，实验方法比较常规。评委如果追问"创新点体现在哪"，我的应对方式是重新定义创新层次：
- 任务创新：将美学和情感两个彼此割裂的评价任务联合为一个整体框架，这个任务是原来没有的，或者很少有人这么做。
- 结构创新：不是为了用GNN而用GNN，而是指出"区域关系"和"全局语义"是两个任务共同的底层信息组织方式，这种问题分解方式是任务驱动的。
- 系统创新：把模型封装成可交互的Web系统，并输出可解释的注意力可视化，形成了从研究到应用的完整闭环。
记住，毕设创新点不是说"我发明了一个全新模型"，而是说"我在现有技术组件之上，做出了哪些针对特定问题的设计和整合"。这样讲，既诚实又有力。
答辩结束之后，我最大的体会是：这个项目真正值的不是模型精度那零点几个点的提升，而是把"美学评价"和"情感分析"理解为一个整体问题的过程。最后分享一个小技巧：如果你的毕设时间压缩到两个月以内，别从零开始复现骨干网络，直接加载预训练权重，把精力花在任务设计和系统打磨上，答辩效果会好得多。另外，Flask系统里模型加载务必放在全局而不是每个请求里加载一次，这个细节当年差点让我在演示现场翻车。希望这篇复盘能给你一些启发，祝你的毕设答辩顺利。
