一个能够辨别古琴“羽”音、解析京剧“宫调转徵调”的AI系统是如何炼成的？
当传统五声音阶遇上现代大模型，AI不仅“听见”了音乐，更“听懂”了千年的文化密码。
项目背景：从“听见”到“听懂”
在数字化浪潮的推动下，音乐正成为人机交互的重要媒介。然而，当前大多数AI语音系统仍停留在“语音识别”层面——能识别“说了什么”，却难以理解一段旋律“表达了什么”。对于蕴含深厚文化底蕴的中国传统音乐而言，这一局限尤为明显。
真正的挑战在于：
- 如何让AI分辨古琴曲中细腻的“徵”音与“羽”音？
- 如何让虚拟戏曲角色的唱腔精准契合“宫调”的情感色彩？
- 如何为民族音乐学习者提供一个能实时反馈、精准指导的智能助手？
为此，我们基于Qwen2-Audio-7B-Instruct模型，通过领域适配性微调，构建了一套能够深度理解传统音乐语义的智能系统。该系统不仅融合了五声音阶（宫、商、角、徵、羽）的声学特征，更在文化语境与情感表达层面实现了突破，让技术真正服务于文化的传承与创新。
系统构建：从“微调”到“评估”
我们采用 LoRA 微调方法，在保持模型原有能力的基础上，注入音乐领域的专业知识。微调过程总时长约1h18min。
资源配置与准备
配置参数 | 选型 | 说明 |
基础模型 | Qwen2-Audio-7B-Instruct | 70亿参数，支持多语言语音理解与生成，具备情感、语调、环境音感知能力 |
微调数据集 | CNPM_audio_train（预置） | 聚焦传统音乐词汇与调式识别，适用于音乐教育、乐曲分析等场景 |
GPU 资源 | H800A×4（推荐） | 80GB 显存/卡，保障训练效率与稳定性 |
微调方法 | LoRA（Low-Rank Adaptation） | 低秩适配，显著降低显存与计算开销，便于后续部署 |
微调过程全记录
进入 LLaMA-Factory Online「实例空间」页面后开始进行微调，在「配置资源」页面选择4卡H800AGPU资源，其他参数保持为默认值即可。待实例启动后，点击「LLaMA-Factory快速微调模型」页签，进入 LLaMA-Factory Online 在线WebUI微调配置页面，根据实际需求进行模型选型和参数配置。
参数配置完成后，点击“开始”按钮启动微调任务。页面底部将实时显示微调过程中的日志信息，同时展示当前微调进度及Loss变化曲线。经过多轮微调后可以看出Loss逐渐趋于收敛，直到系统提示“训练完毕”。
效果评估与对比
训练完成后，我们从定性对话测试与定量指标评估两个维度验证系统效果。
通过对比微调模型与原生模型的输出结果可以发现，微调后的模型在角色扮演方面表现出更强的契合度，其回答不仅更贴近系统预设的角色定位，也更符合用户的认知预期。
我们切换至“Evaluate & Predict”页面，选择微调后模型的检查点路径，然后选择平台预置的CNPM_audio_train数据集，并根据实际需求配置评估参数（本实践的参数设置如下图所示）。
配置完成后，点击“开始”按钮即可启动评估，页面底部将实时显示评估过程中的日志信息，评估完成后，记录评估结果，结果如下所示。
{"predict_bleu-4":52.251510546875,"predict_model_preparation_time":0.0068,"predict_rouge-1":69.82624921875,"predict_rouge-2":60.547182421875,"predict_rouge-l":69.466005859375,"predict_runtime":37.407,"predict_samples_per_second":6.496,"predict_steps_per_second":0.107}各项指标均表明生成内容与参考答案在词汇、短语、句子结构和语义连贯性上高度匹配，具备良好的语言流畅性和信息覆盖能力。
我们在同一测试集上对比了微调前后的模型性能。
评估指标 | 微调前 | 微调后 | 提升效果 |
BLEU-4 | 3.55 | 52.25 | 提升14倍 |
ROUGE-L | 7.93 | 69.47 | 提升近9倍 |
对比微调后模型评估与原生模型评估结果可以看出，微调后模型在生成质量上表现优异（BLEU-4: 52.25, ROUGE-L: 69.47），表明其能生成语义准确、结构连贯的高质量输出；原生模型所有生成指标极低（BLEU-4: 3.55, ROUGE-L: 7.93），说明模型未能有效理解或生成相关内容。这反映出微调后模型生成文本在术语准确性、结构连贯性和语义完整性上接近专业参考答案，已达到实用化水平。
技术最有温度的时刻，莫过于它真正理解并尊重了人的文化。这次实践最令人振奋的，不是BLEU分数提升了多少，而是当AI第一次准确识别出一段京剧唱腔中的“宫调转徵调”时，我们看到的可能性——技术不仅能提升效率，更能成为文化传承的桥梁。未来，LLaMA-Factory Online期待进一步融合多模态感知、乐谱生成等能力，构建覆盖“听、析、创”全链路的智能音乐系统，推动人工智能在文化艺术领域的深度赋能。
