Linly-Talker在政务热线智能应答中的试点成果

Linly-Talker在政务热线智能应答中的试点成果

在政务服务日益强调“便民、高效、透明”的今天，一条电话线背后的服务质量，往往直接关系到公众对政府效能的感知。然而，面对高频次、重复性的咨询需求——比如“新生儿怎么上户口”“社保转移要哪些材料”，传统人工坐席不仅疲于应对，还容易因情绪波动或信息更新不及时导致服务偏差。有没有一种方式，既能保证政策解答的权威准确，又能提供7×24小时不打烊的亲切互动？

正是在这样的现实挑战下，基于多模态AI技术构建的数字人系统开始崭露头角。Linly-Talker 作为一款集语音识别、语言理解、语音合成与面部动画驱动于一体的一站式数字人解决方案，在多个城市的政务热线中展开了试点应用。它不仅能“听懂”老百姓的口语化提问，还能以标准普通话“回答”，甚至通过屏幕上的虚拟形象“面对面”讲解流程，真正让冰冷的技术有了温度。

这套系统的背后，并非单一模型的炫技，而是多个AI模块协同工作的结果。从用户拨打电话那一刻起，一场由ASR、LLM、TTS和视觉驱动共同完成的“智能接力”便悄然展开。

当市民说出“我想给孩子上户口”时，自动语音识别（ASR）首先登场。这里用的是类似 Whisper 的端到端模型，能够将嘈杂环境下的语音流精准转写为文本。不同于早期依赖拼音建模和声学-语言模型分离架构的设计，现代ASR更擅长处理连续语流、方言口音以及背景噪声。例如，即使对方说的是带地方腔的“娃儿落户”，系统也能结合上下文判断其真实意图。更重要的是，这类模型支持本地部署，避免了语音上传云端带来的隐私风险，完全符合《个人信息保护法》的要求。

接下来是核心大脑——大型语言模型（LLM）。它不再是一个只会背模板的机器人，而是能理解语义、检索知识、组织语言的“数字公务员”。我们采用的是如 ChatGLM 或 Qwen 这类中文优化的大模型，经过政务领域微调后，已能熟练掌握户籍、医保、公积金等高频业务术语。它的优势在于泛化能力：不必穷举所有问法，只要用户表达的意思接近“新生儿登记”，就能准确匹配到相关政策条文。

但光有内容还不够，输出必须可控。为此，我们在生成链路中加入了安全过滤层，防止出现“建议您去某某中介办理”之类的误导性回答；同时引入提示工程（Prompt Engineering），固定回复格式：“您好，根据XX规定，您需要准备以下材料……”确保语气正式且亲和。实际运行中还会接入RAG（检索增强生成）机制，先从结构化政策库中查找依据，再由LLM整合成自然语言，极大提升了事实准确性。

from transformers import AutoTokenizer, AutoModelForCausalLM model_name = "THUDM/chatglm3-6b" tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True) def generate_response(prompt: str) -> str: inputs = tokenizer(prompt, return_tensors="pt", padding=True) outputs = model.generate( **inputs, max_new_tokens=256, do_sample=True, temperature=0.7, top_p=0.9 ) response = tokenizer.decode(outputs[0], skip_special_tokens=True) return response.replace(prompt, "").strip() user_query = "请问如何办理新生儿户口登记？" prompt = f"你是一名政务服务中心的智能客服，请用正式且亲切的语气回答以下问题：{user_query}" answer = generate_response(prompt) print(answer)

拿到文本答案后，系统立即交棒给TTS模块。这里的关键词不是“能说话”，而是“像谁在说”。我们采用了 Coqui TTS 这类支持语音克隆的开源框架，只需采集几位真实窗口工作人员3分钟以上的标准录音，即可训练出具有辨识度的“政务音色”。这种统一的声音形象，有助于建立公众信任感——听起来不像机器，而像是某个熟悉的办事员在耐心解释。

from TTS.api import TTS as CoquiTTS tts = CoquiTTS(model_name="tts_models/zh-CN/baker/tacotron2-DDC-GST") tts.tts_to_file( text="您好，关于您咨询的新生儿户口问题，需要准备出生医学证明、父母身份证和结婚证。", file_path="response.wav", speaker_wav="reference_speaker.wav", language="zh-cn" )

更进一步，为了让服务更具象，系统同步启动面部动画驱动模块。借助 Wav2Lip 等先进模型，仅需一张证件照，就能生成唇动自然、表情协调的数字人视频。其原理是将语音分解为音素序列，映射到对应的视觉发音单元（viseme），再通过GAN或扩散模型驱动人脸关键点变形。实测显示，口型同步误差控制在80ms以内，几乎无法被人眼察觉。

import cv2 from wav2lip.inference import Wav2LipPredictor predictor = Wav2LipPredictor(checkpoint_path='checkpoints/wav2lip.pth') frame = cv2.imread("portrait.jpg") audio_path = "response.wav" video_output = predictor.predict(frame, audio_path, fps=25) out = cv2.VideoWriter('digital_person.mp4', cv2.VideoWriter_fourcc(*'mp4v'), 25, (480, 480)) for img in video_output: out.write(img) out.release()

整个交互流程无缝衔接：用户语音 → 文本转录 → 意图理解 → 政策检索 → 回答生成 → 语音合成 → 口型驱动 → 多端呈现。无论是电话那头听到的声音，还是政务服务大厅屏幕上播放的讲解视频，都来自同一套数字人引擎。

这套系统已在多地政务热线试点运行，成效显著。数据显示，超过70%的常见问题可由数字人独立闭环处理，人工坐席压力明显下降；由于回答内容全部源自权威数据库，杜绝了“张三说要A材料，李四说要B材料”的服务不一致现象；而对于老年人群体而言，无需操作手机App或阅读长篇指南，只需开口提问就能获得回应，使用门槛大幅降低。

当然，智能化并不意味着完全替代人工。系统设计中保留了清晰的容错与转接机制：当识别置信度低于阈值时，会主动确认“您是想问XXX吗？”；遇到复杂个案或情绪激动的用户，则自动推送上下文记录并转接至人工坐席，实现“人机协同”。

值得一提的是，同一数字人形象可适配多种终端场景——电话系统输出音频，自助终端展示动态画面，微信小程序嵌入短视频，真正做到了“一次建模，全域复用”。后续还可通过收集交互日志持续优化知识库覆盖范围，形成闭环迭代。

可以预见，随着边缘计算能力提升和模型轻量化技术进步，这类全栈式数字人系统将不再局限于中心城市的大厅窗口，而是下沉至社区服务中心、乡镇便民站点，成为基层治理的“标配”。它们不会取代人类的情感温度，但能解放人力去做更有价值的事；它们或许没有真人的眼神交流，却能让每一位普通市民感受到被认真对待的服务尊严。

技术的意义，从来不只是炫技，而是在每一个细微处，让人生活得更轻松一点。Linly-Talker 的探索表明，当AI真正扎根于公共服务场景，智能与温度，完全可以兼得。