LiveTalking 数字人直播：5 分钟搭一套会说话的虚拟主播

LiveTalking 数字人直播：5 分钟搭一套会说话的虚拟主播

【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream

开播前 10 分钟还在手动对口型？LiveTalking 是一套开源的实时交互流式数字人引擎，你输入文本或音频，它驱动虚拟形象同步说话，口型对得上、说话时能打断、支持多路并发，基本达到商用效果。适合想做无人直播、AI 客服或数字人内容的个人与团队。

一句话说清 LiveTalking 是什么

LiveTalking 把文字和语音转成 TTS 音频，用深度学习模型逐帧生成口型画面，再通过 WebRTC、RTMP 或虚拟摄像头推流出去——一句话：文字进、带口型的视频流出。

几个场景→能力的对照，方便你判断值不值得搭：

• 直播间要有人应答 → 数字人实时对话，还能被随时打断
• 想批量产口播视频 → 调用 docs/api.md 的/human接口提交文案
• 形象要贴品牌 → 在 web/avatar.html 上传视频生成自定义数字人

部署前先过一遍这 5 项

最短路径跑起来

四步：克隆 → 装环境 → 启动 → 访问。

git clone https://gitcode.com/GitHub_Trending/me/metahuman-stream

conda create -n livetalking python=3.12 -y && conda activate livetalking pip install torch==2.9.1 torchvision==0.24.1 torchaudio==2.9.1 --index-url https://download.pytorch.org/whl/cu128 pip install -r requirements.txt

模型就位后启动：

python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1

浏览器打开http://服务器IP:8010/index.html，点"开始连接"，在文本框输入一句"你好"提交，数字人就会开口。嫌配环境麻烦？AutoDL、UCloud 都挂了项目预置的 GPU 镜像，拉起实例即可跑，Windows 用户也有整合包可下，见 README.md。

效果与硬件账本

官方实测的实时推理帧率：

选型建议：够用就行——显卡中等选 wav2lip256，追求画质再上 musetalk。日志里inferfps和finalfps都 ≥25 才算真实时；更高规格的商用版能力，官方文档里有对比表，这里不展开。

踩坑与自救

• 连不上画面→ 九成是端口没开，放行 TCP 8010 + UDP 1-65536。
• 模型下载后报错→ 核对文件名：models/wav2lip.pth和data/avatars/下解压出的形象文件夹，名字一个字符都不能差。
• RTMP 推流失败→ 查 assets/faq.md：ffmpeg -version的输出里必须带 libx264，没有就换带编码器的版本。
• protobuf 装不上→ 按 FAQ 装 3.20.1 的旧版本即可。

下一步可以玩什么

跑通只是起点。试试给数字人克隆一个专属音色；不说话时让它播自定义视频（动作编排），直播画面更自然；把--transport切成 RTMP 直接推给直播平台。跑顺之后，再调 docs/api.md 的接口把数字人嵌进你自己的业务里——开播的事，交给他就行。

【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream