阿里达摩院SenseVoiceSmall实战：构建带情绪感知的语音助手-开发者社区

阿里达摩院SenseVoiceSmall实战：构建带情绪感知的语音助手

1. 让语音识别“听懂”情绪，不只是转文字

你有没有想过，AI不仅能听清你说什么，还能听出你是开心、生气，还是无奈？传统的语音识别（ASR）只能把声音变成文字，但现实中的沟通远不止内容本身——语气、背景音、笑声、掌声，都是信息的一部分。

今天我们要聊的，是阿里达摩院开源的一款“会读情绪”的语音理解模型：SenseVoiceSmall。它不只做语音转写，还能识别说话人的情绪状态（比如开心、愤怒、悲伤），甚至能检测背景里的音乐、掌声、笑声等声音事件。换句话说，它让机器真正开始“听懂”人类语言背后的丰富情感和场景。

这个模型特别适合用来构建下一代智能语音助手、客服系统、情感分析工具，甚至是视频内容自动打标签系统。更棒的是，我们可以通过一个简单的 Gradio 界面，快速部署并体验它的全部能力，无需深入代码也能玩转多语言+情感识别。

本文将带你从零开始，一步步搭建一个支持中文、英文、日语、韩语、粤语的带情绪感知的语音助手，并展示如何用它分析一段音频中的情感波动和环境声音。

2. SenseVoiceSmall 是什么？为什么说它“更懂人”

2.1 多语言 + 富文本识别，重新定义语音理解

SenseVoiceSmall 是阿里巴巴通义实验室（iic）推出的轻量级语音理解模型，属于SenseVoice系列的小模型版本。虽然体积小，但它继承了大模型的核心能力，尤其擅长“富文本转录”（Rich Transcription），也就是在转写文字的同时，标注出：

🎭说话人情绪：HAPPY（开心）、ANGRY（愤怒）、SAD（悲伤）、NEUTRAL（中性）
🎸声音事件：BGM（背景音乐）、APPLAUSE（掌声）、LAUGHTER（笑声）、CRY（哭声）

这些标签会直接嵌入到转写结果中，比如：

[LAUGHTER] 哈哈哈，这也太搞笑了吧！<|HAPPY|>

这意味着，你不再需要额外训练一个情绪分类器或声音事件检测模型——所有功能都集成在一个模型里，一次推理全搞定。

2.2 技术优势一览

特性	说明
支持语言	中文、英文、粤语、日语、韩语（可自动识别）
情感识别	开心、愤怒、悲伤、中性四种基础情绪
声音事件	背景音乐、掌声、笑声、哭声等常见事件
推理速度	非自回归架构，4090D 上实现秒级转写
易用性	内置 Gradio WebUI，支持上传音频、实时查看结果

相比传统 ASR 模型（如 Whisper 或 Paraformer），SenseVoice 的最大突破在于语义增强。它不只是“听到了”，而是“理解了”声音背后的上下文。

3. 快速部署：三步启动你的语音情绪分析平台

3.1 环境准备

本镜像已预装以下依赖，开箱即用：

Python 3.11
PyTorch 2.5
核心库：funasr,modelscope,gradio,av
系统工具：ffmpeg（用于音频解码）

如果你使用的是官方镜像，大部分环境已经配置好，只需确认av和gradio已安装即可：

pip install av gradio

3.2 创建 Web 交互界面

我们来写一个简单的app_sensevoice.py文件，封装模型调用逻辑，并提供可视化操作界面。

编辑脚本文件

vim app_sensevoice.py

输入以下完整代码：

import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess # 初始化 SenseVoiceSmall 模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用 GPU 加速 ) def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" # 调用模型生成富文本结果 res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) # 后处理：将原始标签转换为易读格式 if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败" # 构建 Gradio 界面 with gr.Blocks(title="SenseVoice 情绪感知语音助手") as demo: gr.Markdown("# 🎙 SenseVoice 智能语音识别控制台") gr.Markdown(""" **功能特色：** - **多语言支持**：中、英、日、韩、粤语自动识别。 - 🎭 **情感识别**：自动检测音频中的开心、愤怒、悲伤等情绪。 - 🎸 **声音事件**：自动标注 BGM、掌声、笑声、哭声等。 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传音频或直接录音") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择 (auto 为自动识别)" ) submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果 (含情感与事件标签)", lines=15) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) # 启动服务 demo.launch(server_name="0.0.0.0", server_port=6006)

3.3 启动服务

保存文件后，在终端运行：

python app_sensevoice.py

你会看到类似以下输出：

Running on local URL: http://0.0.0.0:6006

此时服务已在服务器内部启动，但默认无法直接访问。

4. 本地访问 WebUI：SSH 隧道转发

由于云平台通常限制公网访问 Web 端口，我们需要通过 SSH 隧道将远程服务映射到本地浏览器。

4.1 执行端口转发命令

在你自己的电脑终端中执行（替换[端口号]和[SSH地址]为实际值）：

ssh -L 6006:127.0.0.1:6006 -p [端口号] root@[SSH地址]

例如：

ssh -L 6006:127.0.0.1:6006 -p 2222 root@123.45.67.89

输入密码后连接成功，隧道即建立。

4.2 打开浏览器访问

保持终端连接不断开，然后打开本地浏览器，访问：

http://127.0.0.1:6006

你会看到一个简洁的语音识别界面，支持上传音频、选择语言、一键识别。

5. 实战演示：让AI听出“笑点”和“情绪起伏”

我们来测试一段真实场景的音频：一位用户在观看搞笑视频时的反应录音。

5.1 上传音频并设置参数

点击“上传音频”按钮，选择一段包含对话、笑声和背景音乐的音频。
语言选择设为auto（自动识别）。
点击“开始 AI 识别”。

5.2 查看识别结果

几秒钟后，输出框返回如下内容：

[LAUGHTER] 哇塞，这演员也太离谱了吧！<|HAPPY|> [BGM] （轻快背景音乐持续） 哎哟我去……笑死我了哈哈哈 <|HAPPY|> [APPLAUSE] （短暂鼓掌） 刚才那个反转简直神了，真的没想到 <|HAPPY|>

可以看到：

笑声被准确标记为[LAUGHTER]
用户情绪多次识别为<|HAPPY|>
背景音乐也被捕捉到

这说明模型不仅识别了文字，还还原了整个“观看体验”的情绪曲线。

6. 如何利用这些信息？应用场景大揭秘

6.1 智能客服质检：自动发现客户不满

传统客服录音分析只能靠关键词匹配，而 SenseVoice 可以直接识别客户是否“愤怒”或“失望”。

例如：

你们这服务也太差了！等了半小时没人管！<|ANGRY|>

系统可自动标记该通话为高风险事件，触发预警机制，提升服务质量。

6.2 视频内容自动化标签：提升推荐精准度

对于短视频平台，可以批量处理视频音频流，提取：

情绪分布（观众何时笑、何时感动）
声音事件（是否有 BGM、掌声、互动声）

这些数据可用于：

自动生成视频摘要
推荐系统优化（喜欢“搞笑”内容的用户推更多 LAUGHTER 高发视频）
创作者反馈（“你的视频前10秒缺乏情绪波动，建议加强开场”）

6.3 教育辅助：分析学生课堂情绪状态

在在线教育场景中，通过分析学生发言片段的情绪倾向，教师可以了解：

学生是否对某个知识点感到困惑（SAD/NEUTRAL）
是否因互动而兴奋（HAPPY/LAUGHTER）
是否走神（长时间无语音+无事件）

从而动态调整教学节奏。

7. 注意事项与最佳实践

7.1 音频格式建议

采样率：推荐 16kHz，模型会自动重采样，但原始质量越高越好
编码格式：WAV、MP3、FLAC 均可，避免使用低比特率压缩音频
信噪比：尽量减少背景噪音，否则可能误判为 BGM 或其他事件

7.2 情感标签解读技巧

<|HAPPY|>不一定代表“大笑”，也可能是语气轻快
<|ANGRY|>可能出现在激烈辩论中，需结合上下文判断
若连续出现多个<|NEUTRAL|>，说明说话人情绪平稳或缺乏表达张力

7.3 性能优化建议

使用 GPU（如 A100、4090D）可显著提升推理速度
对长音频建议开启merge_vad=True，避免切分过碎
批量处理时可通过batch_size_s控制内存占用

8. 总结：让语音交互更有“温度”

SenseVoiceSmall 的出现，标志着语音识别正从“听得清”迈向“听得懂”。它不仅仅是一个转写工具，更是一个情感感知引擎，为 AI 赋予了理解人类情绪的能力。

通过本文的实战部署，你应该已经掌握了：

如何快速搭建一个支持多语言、情感识别的语音分析系统
如何使用 Gradio 实现零代码交互界面
如何解读富文本输出中的情绪与声音事件标签
如何将这项技术应用于客服、教育、内容创作等多个领域

未来的人机交互，一定是“有温度”的。而 SenseVoice 正是通往那个未来的一步。

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

阿里达摩院SenseVoiceSmall实战：构建带情绪感知的语音助手