SenseVoiceSmall开箱即用，5分钟搞定AI语音富文本识别-开发者社区

SenseVoiceSmall开箱即用，5分钟搞定AI语音富文本识别

1. 引言：为什么需要富文本语音识别？

传统的语音识别（ASR）系统主要聚焦于“将声音转为文字”，但真实场景中的语音信息远不止于此。一段对话中可能包含情绪波动、背景音乐、笑声或掌声等非语言信号，这些信息对理解语境至关重要。

阿里达摩院推出的SenseVoiceSmall模型正是为此而生。它不仅支持中、英、日、韩、粤五种语言的高精度识别，更具备情感识别与声音事件检测能力，输出结果可称为“富文本”——即融合了语义、情感和环境信息的结构化文本。

本文将带你快速部署并使用基于该模型的预置镜像，通过 Gradio WebUI 实现零代码交互式语音分析，整个过程不超过5分钟。

2. 技术亮点解析

2.1 多语言通用识别能力

SenseVoiceSmall 在多个公开数据集上表现优异，尤其在中文和粤语任务中显著优于 Whisper 系列模型。其训练数据覆盖全球超过50种语言，具备强大的跨语言泛化能力。

支持语言：zh（普通话）、yue（粤语）、en（英语）、ja（日语）、ko（韩语）
自动语言检测：设置language="auto"即可由模型自动判断输入音频的语言类型

技术优势：相比传统自回归模型，SenseVoice 采用非自回归架构，在保证准确率的同时大幅降低推理延迟，适合实时应用场景。

2.2 富文本输出：超越文字的语音理解

传统 ASR 输出仅为纯文本，而 SenseVoice 的输出包含两类关键附加信息：

🎭 情感标签

识别说话人的情绪状态，包括：

<|HAPPY|>开心
<|ANGRY|>愤怒
<|SAD|>悲伤
<|NEUTRAL|>中性

🎸 声音事件标签

检测音频中的非语音成分，如：

<|BGM|>背景音乐
<|APPLAUSE|>掌声
<|LAUGHTER|>笑声
<|CRY|>哭声

这些标签以特殊标记形式嵌入原始文本中，后续可通过rich_transcription_postprocess函数清洗为人类可读格式。

3. 快速部署指南

本节介绍如何在已集成 SenseVoiceSmall 的镜像环境中启动服务，并通过本地浏览器访问 WebUI 界面。

3.1 启动 Gradio Web 服务

若镜像未自动运行服务，请执行以下命令手动启动：

python app_sensevoice.py

该脚本核心功能如下：

加载iic/SenseVoiceSmall预训练模型
配置 VAD（语音活动检测）模块以提升长音频处理效率
构建 Gradio 可视化界面，支持上传音频文件或直接录音
返回带情感与事件标注的富文本结果

完整代码见下文。

3.2 本地访问配置（SSH 隧道）

由于平台安全策略限制，需通过 SSH 隧道将远程服务端口映射至本地：

ssh -L 6006:127.0.0.1:6006 -p [端口号] root@[SSH地址]

连接成功后，在本地浏览器打开： 👉 http://127.0.0.1:6006

即可进入交互式语音识别控制台。

4. 核心代码实现详解

4.1 完整 WebUI 脚本（app_sensevoice.py）

import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess import os # 初始化模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用 GPU 加速 ) def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" # 执行语音识别 res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) # 富文本后处理 if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败" # 构建界面 with gr.Blocks(title="SenseVoice 多语言语音识别") as demo: gr.Markdown("# 🎙️ SenseVoice 智能语音识别控制台") gr.Markdown(""" **功能特色：** - 🚀 **多语言支持**：中、英、日、韩、粤语自动识别。 - 🎭 **情感识别**：自动检测音频中的开心、愤怒、悲伤等情绪。 - 🎸 **声音事件**：自动标注 BGM、掌声、笑声、哭声等。 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传音频或直接录音") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择 (auto 为自动识别)" ) submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果 (含情感与事件标签)", lines=15) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) # 启动服务 demo.launch(server_name="0.0.0.0", server_port=6006)

4.2 关键参数说明

参数	说明
`trust_remote_code=True`	允许加载远程定义的模型类
`vad_model="fsmn-vad"`	启用语音活动检测，提升长音频分割准确性
`merge_vad=True`	合并短片段，避免断句过碎
`batch_size_s=60`	每批处理最多60秒音频，平衡内存与速度
`use_itn=True`	启用文本正规化（如数字转汉字）

5. 使用技巧与优化建议

5.1 输入音频建议

采样率：推荐 16kHz，模型会自动重采样，但原始为16k效果最佳
格式兼容性：支持.wav,.mp3,.flac,.m4a等常见格式（依赖ffmpeg或av库解码）
信噪比：尽量避免高噪声环境录音，否则可能导致情感误判

5.2 结果解析示例

原始输出：

<|zh|><|HAPPY|>今天天气真好啊！<|LAUGHTER|>哈哈哈<|/LAUGHTER|>我们去公园吧。<|BGM|>轻快音乐<|/BGM|>

经rich_transcription_postprocess清洗后：

[中文][开心] 今天天气真好啊！[笑声] 哈哈哈 我们去公园吧。[背景音乐] 轻快音乐

开发者可根据业务需求进一步提取标签内容，用于客户情绪分析、视频字幕增强等场景。

5.3 性能优化提示

GPU 加速：确保 PyTorch 正确绑定 CUDA 设备（如device="cuda:0"）
批量处理：对于多文件任务，可编写批处理脚本调用model.generate()批量推理
缓存机制：利用cache={}参数维持上下文状态，适用于连续对话流识别

6. 总结

SenseVoiceSmall 是一款极具实用价值的多语言语音理解模型，其“富文本”输出能力填补了传统 ASR 在情感与环境感知方面的空白。结合预置镜像中的 Gradio WebUI，用户无需编写任何前端代码即可快速体验其强大功能。

本文介绍了从环境启动、服务部署到结果解析的全流程，并提供了完整的可运行代码。无论是用于智能客服质检、会议纪要生成，还是短视频内容分析，SenseVoiceSmall 都能提供远超传统语音识别系统的洞察力。

未来可探索方向：

将情感标签接入 CRM 系统进行客户满意度分析
结合 NLP 模型构建端到端语音情感分类 pipeline
在线直播场景中实时检测观众反应（掌声、笑声）

掌握这一工具，意味着你已迈入下一代语音智能的大门。

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

SenseVoiceSmall开箱即用，5分钟搞定AI语音富文本识别