随着实时音视频（RTC）和人工智能（AI）技术的快速发展，越来越多的开发者开始探索如何将 AI 能力集成到 RTC 应用中，打造智能语音助手、实时翻译、数字人等创新场景。LiveKit 作为一款开源、现代化的实时视频音频 WebRTC 基础设施，提供了强大的服务端 Agent 框架，让开发者可以轻松构建这些应用。
对于中国大陆的开发者来说，选择稳定、低延迟且识别效果优秀的语音和模型服务至关重要。阿里云智能语音交互（NLS）和通义千问（DashScope）大模型凭借其在中文语境下的卓越表现和本土化优势，成为了极佳的选择。
本文将详细介绍如何通过编写自定义插件，将阿里云的 STT（语音转文本）、LLM（大语言模型）和 TTS（文本转语音）服务集成到 LiveKit Agents 框架中。
架构概览
在开始编写代码之前，让我们先了解一下整体的系统架构。
系统主要由以下几个部分组成：
- User (Client): 终端用户，通过浏览器或移动应用连接到 LiveKit 房间。
- LiveKit Server: 负责处理信令、媒体转发（WebRTC SFU）。
- Python Agent Worker: 运行在服务端的 AI 代理程序。它订阅用户的音频轨道，并将其转发给 AI 服务处理，最后将生成的语音推送到房间中。
- VAD (Voice Activity Detection): 使用 Silero VAD 检测用户是否在说话。
- STTPlugin: 调用阿里云智能语音交互（ASR）将音频转换为文本。
- LLM Plugin: 将文本发送给阿里云通义千问（Qwen）获取回复。
- TTS Plugin: 调用阿里云语音合成服务将回复文本转换为语音流。
数据流向
下图展示了从用户说话到听到回复的完整数据流向：
核心组件集成深度解析
LiveKit Agents 框架设计了清晰的接口stt.STT,llm.LLM, 和tts.TTS。下面我们将深入探讨如何针对阿里云的特性来实现这些接口。
1. 语音转文本 (STT) - Aliyun ASR
在 [stt_aliyun.py](file:///Users/huyiyang/Workspace/tiwater/livekit-plugins-tiwater/tiwater_livekit/plugins/tiwater/stt_aliyun.py) 中，我们实现了 [STT](file:///Users/huyiyang/Workspace/tiwater/livekit-plugins-tiwater/tiwater_livekit/plugins/tiwater/stt_aliyun.py#73-378) 类。这一部分的难点在于如何处理鉴权 Token 的动态刷新以及如何将 LiveKit 的音频缓冲区转换为阿里云 API 接受的格式。
核心实现逻辑
动态 Token 管理: 阿里云 NLS 服务的 Token 有有效期（通常为 24 小时）。为了保证服务不中断，我们在插件中实现了 Token 自动刷新机制。
- 我们在初始化时支持传入
token_provider回调函数。 - 在 [_recognize_impl](file:///Users/huyiyang/Workspace/tiwater/livekit-plugins-tiwater/tiwater_livekit/plugins/tiwater/stt_aliyun.py#225-343) 中捕获
40000001(Token Expired) 错误码。一旦遇到此错误，立即调用 provider 刷新 Token 并自动重试请求，对上层业务透明。
# 错误处理与自动重试逻辑elifstatus==40000001:logger.warning(f"阿里云 ASR Token 过期:{message}")ifself._token_provider:awaitself._refresh_token()# 递归重试，确保当前请求能成功returnawaitself- 我们在初始化时支持传入
