基于SenseVoiceSmall的会议纪要系统：声音事件自动标注实战
在现代企业协作中，会议是信息交换和决策制定的核心场景。然而，会后整理纪要往往耗时费力——不仅要逐字转录内容，还需捕捉发言情绪、关键节点（如掌声、笑声）等非语言信号。传统语音识别工具只能提供“文字稿”，而无法还原真实的沟通氛围。
本文将带你实战部署一个智能会议纪要系统，基于阿里达摩院开源的SenseVoiceSmall模型，不仅能高精度识别中、英、日、韩、粤五种语言，还能自动标注情感状态（开心、愤怒、悲伤）与声音事件（背景音乐、掌声、笑声）。通过集成 Gradio WebUI，无需编码即可快速上手，真正实现“听懂语气、看懂氛围”的语音理解新体验。
1. 为什么选择 SenseVoiceSmall？
相比传统 ASR（自动语音识别）模型只关注“说了什么”，SenseVoiceSmall 的核心突破在于它能感知“怎么说”以及“周围发生了什么”。这使得它特别适合用于会议记录、客服质检、教学分析等需要深度理解语音上下文的场景。
1.1 多语言 + 富文本 = 更完整的语音理解
SenseVoiceSmall 支持以下两大类高级功能：
多语言通用识别：
- 中文普通话、英文、日语、韩语、粤语
- 可设置
language="auto"实现自动语种判断
富文本转录（Rich Transcription）：
- 🎭情感标签：HAPPY（开心）、ANGRY（愤怒）、SAD（悲伤）、NEUTRAL（平静）
- 🎸声音事件：BGM（背景音乐）、APPLAUSE（掌声）、LAUGHTER（笑声）、CRY（哭声）
这些标签以特殊标记形式嵌入文本，例如：
大家对这个方案都很满意[LAUGHTER]，我觉得可以尽快推进[HAPPY]。这样的输出远比纯文字更有信息量，能帮助你快速定位会议中的情绪波动点或重要互动时刻。
1.2 极致性能：低延迟、高并发
该模型采用非自回归架构，推理速度极快。在 NVIDIA RTX 4090D 上，一段 5 分钟的音频可在 3~8 秒内完成处理，几乎做到“秒级转写”。这对于实时会议监听或批量处理大量录音非常友好。
此外，模型内置 VAD（Voice Activity Detection），可智能切分语音段落，避免静音干扰，提升识别准确率。
2. 环境准备与依赖说明
本镜像已预装所有必要组件，开箱即用。以下是技术栈概览：
| 组件 | 版本/说明 |
|---|---|
| Python | 3.11 |
| PyTorch | 2.5 |
| 核心库 | funasr,modelscope,gradio,av |
| 音频解码 | ffmpeg（系统级依赖） |
提示：
av库用于高效读取音频文件并进行重采样，确保输入符合模型要求（推荐 16kHz 单声道）。
3. 快速启动 Web 交互界面
如果你拿到的是标准镜像环境，通常会自动运行 Web 服务。若未启动，可手动执行以下步骤。
3.1 安装必要依赖（如需）
pip install av gradio注：大多数情况下这些包已预装，仅当报错缺失模块时才需补充安装。
3.2 创建 Web 应用脚本
创建文件app_sensevoice.py，内容如下：
import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess import os # 初始化模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用 GPU 加速 )这段代码完成了几个关键动作：
- 加载
SenseVoiceSmall模型 - 启用 VAD 模块，最大单段语音支持 30 秒
- 强制使用 CUDA 设备（GPU）进行推理，显著提升速度
3.3 定义语音处理函数
def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, # 数字转文字（如 "123" → "一百二十三"） batch_size_s=60, # 批处理时间长度 merge_vad=True, # 合并 VAD 切片 merge_length_s=15, # 合并后的最小片段长度 ) if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败"这里有几个实用参数值得说明：
use_itn=True：开启“逆文本归一化”，把数字、单位等转换成自然语言表达。batch_size_s=60：每批处理最多 60 秒音频，平衡内存占用与效率。merge_vad=True：将短句合并为完整语义段，更适合阅读。
3.4 构建可视化界面
with gr.Blocks(title="SenseVoice 多语言语音识别") as demo: gr.Markdown("# 🎙 SenseVoice 智能语音识别控制台") gr.Markdown(""" **功能特色：** - **多语言支持**：中、英、日、韩、粤语自动识别。 - 🎭 **情感识别**：自动检测音频中的开心、愤怒、悲伤等情绪。 - 🎸 **声音事件**：自动标注 BGM、掌声、笑声、哭声等。 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传音频或直接录音") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择 (auto 为自动识别)" ) submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果 (含情感与事件标签)", lines=15) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) demo.launch(server_name="0.0.0.0", server_port=6006)界面设计简洁直观：
- 左侧上传音频 + 选择语言
- 右侧实时显示带标签的富文本结果
- 支持麦克风直录，也可上传
.wav,.mp3等常见格式
3.5 启动服务
保存文件后，在终端运行：
python app_sensevoice.py你会看到类似输出：
Running on local URL: http://0.0.0.0:6006 This share link expires in 72 hours.4. 如何访问 WebUI？
由于云服务器默认不开放公网端口，你需要通过 SSH 隧道将本地端口映射到远程服务。
4.1 建立 SSH 隧道
在你的本地电脑终端执行：
ssh -L 6006:127.0.0.1:6006 -p [实际端口号] root@[服务器IP地址]例如：
ssh -L 6006:127.0.0.1:6006 -p 2222 root@47.98.123.45成功连接后，不会立即弹出网页，但后台已建立通道。
4.2 打开浏览器访问
访问地址：
http://127.0.0.1:6006
你将看到 Gradio 界面加载成功，可以开始上传测试音频。
5. 实战演示：一场真实会议录音分析
我们来模拟一次团队周会的录音处理过程。
5.1 准备音频素材
假设你有一段 3 分钟的.wav文件，包含：
- 主持人开场介绍
- 成员汇报进展
- 讨论环节出现争论（语气激动）
- 最终达成共识，集体鼓掌
5.2 上传并识别
- 点击“上传音频”按钮导入文件
- 语言选择
auto - 点击“开始 AI 识别”
等待几秒钟，输出如下：
主持人：本周项目整体进度正常[NEUTRAL]。 张工：后端接口已经联调完成[HAPPY]，前端预计明天上线。 李工：但我发现有个严重 bug[ANGRY]，会导致数据丢失！ 王经理：这个问题必须优先解决[SAD]，暂停发布计划。 全体成员：同意[APPLAUSE]。5.3 分析价值提炼
从这份输出中，你可以迅速获取：
- 关键事件定位：掌声出现在结尾，说明团队达成一致
- 情绪变化追踪：李工发言时带有愤怒情绪，提示存在风险点
- 语义完整性保留：虽然是分段识别，但通过
merge_vad实现了连贯表达
这比传统转录稿多了至少两个维度的信息：情感倾向和行为反馈。
6. 进阶技巧与优化建议
虽然默认配置已足够强大，但在实际应用中仍有一些技巧可进一步提升效果。
6.1 自定义后处理逻辑
rich_transcription_postprocess是官方提供的清洗函数，但它只是做了基础替换。你可以根据业务需求扩展：
def custom_postprocess(text): replacements = { "[HAPPY]": "😊", "[ANGRY]": "😠", "[SAD]": "😔", "[APPLAUSE]": "", "[LAUGHTER]": "😂", "[BGM]": "🎵" } for k, v in replacements.items(): text = text.replace(k, v) return text这样输出更直观，适合生成可视化报告。
6.2 批量处理多个文件
如果需要处理一批会议录音，可以编写脚本批量调用model.generate()：
import os audio_dir = "./meetings/" results = [] for file in os.listdir(audio_dir): path = os.path.join(audio_dir, file) res = model.generate(input=path, language="auto") text = rich_transcription_postprocess(res[0]["text"]) results.append(f"{file}:\n{text}\n---\n") with open("meeting_summary.txt", "w", encoding="utf-8") as f: f.write("\n".join(results))6.3 控制输出粒度
如果你想按句子级别查看情感变化，可以关闭合并选项：
res = model.generate( input=audio_path, merge_vad=False, # 不合并语音段 batch_size_s=10 # 小批次处理，更精细 )然后遍历res列表，每个元素对应一个语音片段及其情感标签。
7. 注意事项与常见问题
7.1 音频格式建议
- 推荐使用16kHz 采样率、单声道 WAV文件
- 若使用 MP3 或其他格式，模型会通过
av自动重采样，但可能增加轻微延迟 - 避免极高噪音环境下的录音，会影响情感识别准确性
7.2 情感识别的局限性
- 当前模型的情感分类基于训练数据分布，主要适用于口语对话场景
- 对于轻声细语或压抑情绪，可能误判为 NEUTRAL
- 不建议用于心理评估等专业领域
7.3 GPU 显存要求
- SenseVoiceSmall 模型体积较小，约 1.5GB 显存即可运行
- 在 A10G、RTX 3090/4090 等消费级显卡上均可流畅使用
- 若无 GPU，可改为
device="cpu"，但速度下降明显（约慢 5~10 倍）
8. 总结
通过本次实战，我们构建了一个具备多语言识别、情感分析、声音事件检测能力的智能会议纪要系统。借助 SenseVoiceSmall 模型的强大功能和 Gradio 的便捷交互，即使是非技术人员也能轻松操作，快速获得富含上下文信息的语音转录结果。
这套系统不仅可用于企业内部会议记录，还可拓展至：
- 客服通话质量分析（识别客户不满情绪）
- 教学课堂行为监测（检测学生笑声、提问活跃度）
- 视频内容自动打标（提取掌声、BGM 时间戳）
未来，结合 NLP 技术，我们甚至可以进一步实现“自动摘要 + 情绪曲线 + 关键时刻定位”的全流程智能会议助手。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
