工作总结:成功在本地部署并测试了最新的AI视频生成模型,效果显著优于去年。规划了将AI生成能力(图片、视频)集成到凤希AI伴侣并实现服务器集中部署的技术路径。
工作内容
- 本地AI视频生成部署与测试:昨日主要工作围绕AI生成视频的本地搭建展开,包括下载阿里开源的视频生成模型、学习使用ComfyUI工作流,并成功运行生成了一些测试视频。生成的视频质量相比去年实现了“质的飞跃”。
- 技术路径规划:基于本地部署的成功经验,规划了将AI生成能力(图片、视频)集成到凤希AI伴侣的技术方案。核心思路是集中部署到一台高配置服务器上,通过API为所有用户提供服务,用户只需在AI伴侣中配置服务器地址即可调用,无需各自在本地部署。
- 本地链路打通构想:规划了文章生成后自动调用图片生成接口配图的完整工作流,旨在实现从内容到视觉素材的自动化生产。
- 功能测试:利用新部署的模型,为“凤希”生成了相关的视频内容,效果令人满意。
问题与解决
- 问题:随着对话历史数据量增大,原有的即时搜索功能变得缓慢,且连续搜索会导致资源冲突。
- 解决方案:计划将搜索方式从“即时触发”改为“回车后触发”,以减少资源占用。同时,考虑未来将数据存储方式升级为SQLite,以大幅提升查询速度。
思考与发现
- 由衷感谢阿里等公司开源先进的AI模型(文生图、文生视频),这极大地降低了个人和中小企业利用前沿AI技术的门槛,与“凤希AI伴侣”帮助用户建立本地化、一体化AI工作流的初衷高度契合。
- 当前硬件(如16G显存)运行模型(如生成一张图需3-4分钟)仍有优化空间,但相信随着技术发展,对硬件的要求会逐步降低,普惠性会更强。
- 对于优秀的开源项目,在自身能力范围内以“付费使用”或“帮助宣传”等方式回馈是应有的态度。
- 目前本地生成的视频尚缺“音画同步”能力,仍需后期配音。期待未来能有开源的音画同步模型出现,以完善本地视频生成链路。
后续计划
- 服务器集中部署方案设计:详细设计将ComfyUI等AI生成工具部署到中央服务器的方案,并规划AI伴侣客户端的对应配置模块(如在系统设置中添加“图片生成服务器地址”配置项)。
- 数据存储优化:评估并实施将对话历史等数据迁移至SQLite数据库,以解决搜索性能瓶颈。
- 搜索交互优化:将相关搜索功能统一调整为“回车后搜索”模式,提升应用响应效率。
此工作日记由“凤希AI伴侣”的AI语音功能生成,经过以下步骤:主人口述 > AI语音识别 > AI纠正整理 > 凤希AI开发助手智能体生成最终日记。