这次我们来看一个很务实的问题:AI漫剧到底怎么做。不绕概念,直接给你一套能落地的全流程方法论,从剧本拆分、画面生成、动画制作,到配音剪辑和批量出片。最关键的是,这套流程不要求你是程序员,也不要求你会画分镜,重点是每个环节选对工具、控制好一致性,并且在普通消费级显卡上就能跑起来。
如果你关心“AI 漫剧零基础能不能学会”“用什么工具、吃多少显存”“怎么批量做才能省时间”,这篇文章可以直接收藏。真要做这一行,看完这篇,你就知道第一步该干什么、第二步该踩什么坑了。
1. AI 漫剧制作核心能力速览
先给一套全景表,方便你快速判断这件事的难度和门槛。
| 能力项 | 说明 |
|---|---|
| 制作流程 | 剧本创作、分镜文案、角色立绘、场景图生成、对话运镜、配音生成、剪辑合成 |
| 典型工具类型 | 文本大模型、AI 绘图工具、AI 视频生成工具、配音工具、剪辑软件 |
| 本地部署要求 | 图片生成一般 8G 显存起步,视频生成更吃显存,CPU 可以处理字幕音频但生成图片视频建议用 GPU |
| 核心难点 | 角色一致性、场景风格统一、多角色对话顺滑、批量输出效率 |
| 批量任务支持 | 支持,用固定提示词模板 + 批量出图 + 多镜头脚本整合 |
| 适合人群 | 漫画作者、短视频创作者、想把故事快速做成画面的内容团队 |
| 不适合场景 | 追求电影级光影、复杂动作打斗、纯写实真人风格时需要谨慎评估 |
判断这件事值不值得做,标准很简单:你的素材能不能被“流程化”生产。如果能,AI 漫剧就是一条流水线;如果不能,你会卡在重复调整提示词这一步,效率反而不如手绘。
2. AI 漫剧制作流程全貌
AI 漫剧看起来重,拆开后就是一条固定流水线。我把流程按生产顺序拆成六个模块,你按顺序过一遍就能理解后面的内容。
2.1 故事与剧本阶段
AI 漫剧的第一步不是画图,是出文案。
你需要先用文本模型把故事拆解成一个可执行的剧本。如果你的故事是现成的短篇小说或脑洞,直接交给文本模型做“分集拆解”和“分镜转换”。这一步的输出物是:
- 分集大纲:每集大概 60 到 90 秒,对应 300 到 500 字左右的解说词。
- 镜头脚本:每个镜头需要几幅画面、画面上谁在说什么话、情绪状态是什么、场景在哪里。
- 台词文本:精确到每句对白,方便后面配音和字幕。
脚本质量决定制造成本。脚本里一句“两人在雨中争吵”,听起来很省事,但落到 AI 绘图时,你需要补全人物、环境、雨势、表情、光线、视角。所以正确的做法是,让文本模型把这类句子扩写成可执行的画面描述,而不是只有情绪。
2.2 角色设定与一致性方案
AI 漫剧最常见的问题就是角色“千人一面”或者“一人千面”。
解决办法是在正式出图前,先做一套角色设定页:
- 对每个主要角色固定一张正面参考图。
- 记录角色的完整外貌描述,例如发型、瞳色、服饰、配饰。
- 把参考图放进绘图工具的“参考图”位置,保持后续所有生图都带这张图。
- 在提示词中永远复用同一段角色描述,不做大的改动。
如果你用的工具支持 LoRA 训练,体量允许的情况下,可以给主角单独训练一个小模型,角色一致性会稳定很多。但如果你的角色更换频繁,不建议每条角色都训练模型,用参考图方案更灵活。
2.3 场景图与镜头图生成
有了角色设定,下一步是生成每个镜头的底图。
这里的关键不是一次生成,而是理解“批量生产”的逻辑:
- 每个镜头独立生成一张或多张候选图。
- 同一场景,用相同的场景描述词,只改变人物位置和动作描述。
- 多张图之间,通过参考图保持角色一致。
- 每张图只承担一个镜头的信息量,切忌一张图塞进太多角色和剧情。
一个典型的分镜提示词结构是:
角色描述 + 场景描述 + 动作表情描述 + 镜头角度描述 + 画面风格描述 + 质量后缀例如:
一个银发少年,穿着黑色风衣,神情冷静,站在雨后霓虹街区, 手里握着发光长剑,镜头从下方仰视,赛博朋克风格,高细节,电影光线同一个角色的所有画面,必须复用前两段描述,只改变动作、表情和场景。
2.4 视频化:从静态图到动态画面
这一块是 AI 漫剧和普通条漫最大的区别。你拿到静态图之后,需要让画面“动起来”。
大致有两种路径:
- 路径 A:使用 AI 视频生成工具,把关键帧图作为首帧,输入运动提示词,生成一小段 3 到 8 秒的视频片段。
- 路径 B:使用剪辑软件,通过缩放、平移、剪裁,给静态图做“镜头运动”,搭配转场形成动态效果。
漫剧对话密集,大多数情况下路径 B 就够用,动态需求少、生成稳定、剪辑成本低;动作戏和转场高潮镜头用路径 A,画面冲击力更强,但要接受多次抽卡和素材浪费。
按镜头的不同性质分配制作方式,是控制成本的关键。
2.5 配音与音效
漫剧配音有两类做法:
- AI 语音合成:直接把台词文本转成语音,选一个符合角色性格的音色。
- 真人配音:声优录制,再用剪辑软件对齐画面。
AI 配音效率高,但需要控制语速和情绪起伏。建议在文本模型阶段把所有台词标好情绪词,例如“轻声说”“愤怒”“哽咽”,这样配音工具才能按指令调整。不要一句台词配一整段平铺直叙的AI声音,听起来会非常“AI”。
2.6 剪辑成片与字幕
最后一步是剪辑。
你需要的流程是:
- 把生成好的画面片段按剧本顺序拖入时间线。
- 根据对白长度裁剪画面时长。
- 加字幕、背景音乐、音效。
- 用转场连接镜头。
- 导出成竖屏 9:16 视频。
真正花时间的地方是字幕和调节奏。AI 生成的字幕如果你用的是带时间戳的脚本工具,可以半自动对齐;如果用剪辑软件,就要逐句对白调整。
3. 环境准备与工具选择
这里我给你一套比较稳妥的配置思路,不用一步到位配到顶配。
3.1 硬件门槛
第一步先认清硬件能干什么。
| 硬件项 | 最低要求 | 建议配置 |
|---|---|---|
| 显卡 | 8G 显存,可运行多数出图工具 | 12G 或以上显存,做视频生成更从容 |
| 内存 | 16G | 32G |
| 磁盘 | 预留 100G | 系统盘之外单独一个素材盘,模型文件普遍大 |
| CPU | 可满足基本推理 | 只影响加载速度,不影响出图结果 |
做漫剧只要不追求在本地跑大型视频模型,8G 显存就能开工;如果你要频繁生成视频动态片段,显存越大越好,同时注意视频生成对显存占用通常高于图片生成。显存不够时可以走在线平台或降低生成分辨率。
唯一要提醒的是,不要用笔记本强行跑大型视频模型,散热和电源会变成新的瓶颈。
3.2 软件工具参考
这套教学流程里,你不需要在一开始就掌握全部工具。按生产环节选择对应能力即可:
| 生产环节 | 建议工具方向 | 备注 |
|---|---|---|
| 剧本与分镜 | 文本大模型工具 | 先把剧情拆成镜头脚本 |
| 图片生成 | 主流 AI 绘图工具,本地可部署的开源模型 | 优先选择支持参考图功能的工具 |
| 图生视频 | 支持图生视频的开源模型或在线平台 | 按需生成短视频片段 |
| 配音 | AI 配音网站或开源 TTS 工具 | 台词情绪标注很重要 |
| 剪辑 | 剪映、Pr、CapCut 等常见剪辑软件 | 关键是字幕和转场效率 |
具体工具名这里不展开成某一家,因为更新太快,只要按“参考图能力 + 批量能力 + 接口能力”这三个标准去筛选即可。
3.3 目录规划
所有用过 AI 绘图的人都会告诉你同一件事:不按目录管理素材,做到第 10 集你就崩溃了。
建议目录结构:
project_root/ ├── 01_剧本/ │ ├── 第01集_分镜脚本.md │ └── 第02集_分镜脚本.md ├── 02_角色设定/ │ ├── 男主_参考图.png │ └── 女主_参考图.png ├── 03_场景图/ │ ├── 第01集/ │ │ └── shot_01.png ├── 04_视频片段/ ├── 05_音频/ ├── 06_成片/ └── 07_发布/这个结构不只是在整理文件,它直接决定你能不能批量做任务。每集都按同一套路径存放,后期出问题就能快速定位到具体环节。
4. 全流程实操演示:从文字到成片
下面我按一个具体的虚拟场景,走一遍完整操作。这个例子足够小,你可以在第一次尝试时直接套用。
4.1 场景设计
假设我们要做一集 45 秒的漫剧,剧情是:
- 女主收到一封神秘信件。
- 她打开信件,表情从疑惑变成震惊。
- 画面切到屋顶,一个戴兜帽的神秘人背对她说话。
- 神秘人说:“你终于来了。”
4.2 分镜脚本输出
先用文本模型把上面故事扩成 6 个分镜:
镜头1 - 中景:女主坐在书桌前,桌上放着信件,表情疑惑。 镜头2 - 特写:女主的手拆开信封,信纸上隐约露出特殊符号。 镜头3 - 特写:女主的表情变化,瞳孔放大,露出震惊。 镜头4 - 场景过渡:画面拉到夜晚屋顶,月光下站着兜帽神秘人。 镜头5 - 背影:神秘人背对镜头,兜帽随风微动。 镜头6 - 正面:神秘人回头,半张脸被兜帽阴影遮住,说出台词。这个分镜脚本写得越具体,绘图时你越不用临时想描述词。
4.3 角色参考图设置
给女主和神秘人各准备一张参考图,并写好复用描述:
女主设定描述:
一位黑长发少女,琥珀色眼睛,穿浅蓝色制式外套,白色衬衫,气质沉静,动画质量,高质量渲染神秘人设定描述:
一位神秘男子,深灰色兜帽长袍,面部半遮,银色眼眶,声音低沉,气场诡异,动画风格之后的每一张图,前两个镜头都复用女主的描述,后三个镜头复用神秘人描述。
4.4 出图与筛选
以“镜头3 女主震惊”这一步为例,绘图工具中的提示词可以这样组织:
黑长发少女,琥珀色眼睛,浅蓝色制式外套,白色衬衫,气质沉静, 坐在书桌前,手持信纸,瞳孔放大,表情震惊,嘴唇微张, 特写镜头,强调面部表情,室内灯光,动画风格,高细节,8k操作步骤:
- 打开绘图工具或 WebUI。
- 上传女主参考图。
- 输入提示词。
- 分辨率先设 512x768 或更小的测试值。
- 生成 4 张,挑选一张表情和构图合格的。
- 如果眼神不到位,把“瞳孔放大”改成“瞳孔收缩”,并调整权重。
这里注意一点:参考图控制的是一致性,控制不了情绪;情绪要靠提示词微调和多次抽卡解决。
4.5 静态图转动态视频
如果你选择用 AI 视频工具给关键镜头加动态,以镜头 5 神秘人背影为例:
夜晚屋顶,神秘人兜帽长袍,背后镜头, 微风吹过,兜帽轻轻摆动,缓慢推近镜头,镜头逐渐拉近生成结果是一段 3 秒左右的动态片段。
判断成功标准:
- 人物没有畸变。
- 兜帽摆动自然。
- 镜头运动方向符合提示词。
如果人物变了,可能原因是首帧参考图信息不够,或运动幅度太大;解决方法是把运动描述改得更小,例如“轻微晃动”而不是“大幅度挥舞”。
4.6 配音与立即成片
配音环节,把镜头 6 的台词交给 TTS 工具时,建议文本这样写:
(低沉缓慢,略带压迫感)你终于来了。不要只写“你终于来了”这四个字,AI 读出来平淡的概率很高。
成片时,按照分镜顺序把画面和配音拖上时间线。注意每个镜头的画面停留时间要对齐本句配音的长度,多余部分做裁剪,不要一整段音乐从头铺到尾不加变化。
5. 角色一致性与画风控制的调优技巧
这节是目前 AI 漫剧制作里最值钱的经验。很多作品一眼假,就是因为角色不一致。我建议你重点掌握三个技巧。
5.1 提示词分层
把提示词固定成 6 个区域,之后批量化时,你只需要在“动作表情”和“镜头场景”两个区域做修改:
| 区域 | 内容 | 是否固定 |
|---|---|---|
| 角色描述 | 发型、五官、服装 | 固定 |
| 风格描述 | 动画风、光影、色彩 | 固定 |
| 场景描述 | 室内/室外、时间、天气 | 每镜头修改 |
| 动作表情 | 表情、姿势 | 每镜头修改 |
| 镜头角度 | 特写/中景/仰视/俯视 | 每镜头修改 |
| 质量后缀 | 高细节、好构图 | 固定 |
这样拆开以后,批量生产就没有那么难了。
5.2 固定参考图
你永远不要在批量任务中删掉参考图。角色一致性差,大概率不是模型能力问题,而是你允许 AI “自由发挥”了。
对比实验:同一角色连续生成 10 张图,一组带参考图,一组不带。你看完后会发现,参考图的作用远超过提示词。
5.3 小参数测试,大参数出片
每次做新镜头时,先用低分辨率和短步数出草稿,确认构图、动作、角色五官都没问题后,再放大分辨率、增加步数生成最终版。直接开高参数抽卡,时间和显存都不够用。
6. 批量任务与效率提升方案
AI 漫剧成本的大头在重复劳动。以下三个位置是最值得优化的。
6.1 批量脚本化
把一集的分镜脚本整理成结构化文本,然后按统一提示词模板批量出图。
一个简单的分镜脚本示例:
{ "episode": 1, "shots": [ { "id": "shot_01", "character": "女主", "scene": "室内书房", "camera": "中景", "act": "坐在书桌前,表情疑惑,手边放着旧信封", "dialogue": "这封信是谁送来的?" }, { "id": "shot_02", "character": "女主", "scene": "室内书房", "camera": "特写", "act": "拆开信封,看到信使符号,瞳孔放大", "dialogue": "怎么会……" } ] }把这样的 JSON 转成提示词程序去调用绘图 API,可以做到输入一个分镜脚本,自动批量输出整集素材。
6.2 复用场景库和角色库
把常用场景存成独立底图或独立的场景提示词,比如“夜晚屋顶”“现代都市街道”“咖啡馆”。下次做新一集,直接调用场景库,不用从头生成。
角色库同理:一套主角设定,持续用在整个系列里。系列做得越长,前期的角色设定成本摊得越薄。
6.3 剪辑模板化
剪辑环节容易卡在重复劳动上,建议建一套固定的剪辑模板,包括:
- 字幕样式
- 音效轨道
- 背景音乐风格
- 片头片尾
- 关键转场效果
每次做新一集,只需要替换素材,不需要重排轨道。
正面打击 AI 视频制作效率的,往往不是生成速度,而是流程中“每次都要重新想一遍”的部分。
7. 资源占用与性能观察要点
很多人在流程跑通后最关心性能问题,毕竟 AI 生成不是立等可取。
7.1 显存占用观察
图片生成阶段,你可以用系统自带的任务管理器观察显存。一般有个规律:
- 分辨率越高,显存占用越高。
- 批量张数越多,显存占用越高。
- 开了大尺寸参考图处理,显存可能额外上涨。
如果生成时提示显存不足,先降低批次数、分辨率和参考图尺寸,不要直接换硬件。
7.2 视频生成的性能瓶颈
视频生成的主要瓶颈不完全是显存,还可能是:
- 单次生成长度有限,普通配置下生成短视频片段更现实。
- 内存不足时,画面会出现卡顿。
- 输出素材多时,磁盘写入速度会影响连续任务。
所以做漫剧时,优先把姿态、表情、转场这些“意思到了就行”的部分放在剪辑里解决,全片每个镜头都用 AI 长视频生成,成本和稳定性都很难保证。
7.3 进程残留与端口占用
本地部署过 AI 绘图工具的人,大概率遇到过 7860 或 8188 端口被占用。解决思路是:
- 启动时先检查端口是否被占:
- Windows 执行
netstat -ano | findstr 7860
- Windows 执行
- 如果被占用,找到对应进程 ID 结束任务,或者更换启动参数。
- 退出工具后,确认进程都已关闭再启动下一次任务。
8. 常见问题与排查方法
| 问题现象 | 可能原因 | 排查方式 | 解决方案 |
|---|---|---|---|
| 出图角色不像同一个人 | 参考图缺失或提示词不统一 | 对比当次提示词和历史提示词 | 固定角色描述,每次带参考图 |
| 出图人物结构崩坏 | 检查参考图和提示词权重 | 降低动作描述幅度 | 增加负面提示词,缩小画面元素数量 |
| 视频片段人物变形 | 首帧图信息不足,运动幅度过大 | 把生成段时长缩短,运动描述改小 | 使用“轻微移动”“缓慢推近”等克制描述 |
| 文字提示后图片无法生成 | 显卡驱动或显存不足 | 查看日志,确认模型文件完整 | 更新驱动,关闭其他程序释放显存 |
| 启动工具时端口冲突 | 上次进程没有退出 | netstat查看端口占用 | 结束残留进程或改启动端口 |
| 配音情绪平淡 | 没有在台词中标注情绪 | 检查台词文本是否带情绪指令 | 用括号标明语气,并在语音工具中调整语速和音调 |
| 批量任务中途失败 | 单个素材过大或单条网络请求超时 | 查看进程日志,定位具体失败文件 | 给批量任务加断点续跑,或拆分目录,逐批执行 |
这组排查思路你先记下来,真正卡住你 30 分钟以上的问题,大概率就在这张表里。
9. AI 漫剧制作最佳实践
这套方法最核心的总结,其实就是以下几个做事习惯。
9.1 先做一集验证,再谈系列化
不要一开始就规划 100 集。第一集完整做完,你会同时知道自己的角色设定够不够用、场景库缺什么、配音风格对不对。一集成功的经验,比十集盲目的热情更有用。
9.2 保留最小可运行配置
软件更新后功能变了,旧流程可能没法直接跑。建议保留一套已经跑通的“最小工具组合 + 提示词模板 + 分镜脚本”,每次换工具先拿这套最小配置做回归测试。
9.3 素材文件分目录管理
前面已经给过目录结构,这里再强调一次:文件名要带集数和镜头编号。例如:
ep01_shot03_v2.png不要使用“最终版”“新建文件夹”这类命名方式。批量生产时,良好的命名规范能让你少熬夜。
9.4 批量任务加日志和重试
如果你的批量任务是通过脚本调用 API 跑的,一定要加日志。我建议用最朴素的方式:把成功和失败的文件路径写到不同日志文件里。
成功后:
processed: ep01_shot03.png失败后:
failed: ep01_shot07.png, reason: timeout失败任务不要直接全部重跑,先修复失败原因,再重试失败列表。
9.5 安全和版权边界
这是非常重要的一点。你要做的不是“能不能做”,而是“能不能合法用”。
- 自己创作的角色和剧本,可以自由制作。
- 使用真人肖像、已有动画角色形象、受版权保护的画面,必须取得相应授权。
- 用 AI 克隆特定真人声音,需要当事人明确同意。
- AI 生成的素材,在发布平台商用前,注意查看平台和模型授权协议。
合规不是一个技术点写起来就没意思的环节,而是决定你的账号和作品能不能活下来的根本。
10. 总结与下一步
AI 漫剧制作这件事,最值得先动手验证的就是“角色一致性”。哪怕你还没有具体的故事,先拿出两个角色设定,尝试生成 10 张同角色不同动作的图,你就能立刻知道自己离批量生产还差多少。
这套流程里最容易踩的坑有三个:一是脚本写得不够具体,导致后期每张图都要重写提示词;二是不做参考图,角色形象漂移严重;三是全片贪多,第一个项目就想做到电影级画质,结果成本爆炸、停滞在第一步。
下一步你可以这样做:
- 挑一个 300 字的小故事,按我给的流程拆成分镜脚本。
- 只做两个角色、五个镜头的短片段。
- 完成一条 30 秒成片,再决定要不要扩展成系列。
工具和技术每天都会更新,但“固定角色描述 + 参考图 + 批量脚本化 + 剪辑模板化”这条底层的工业化思路,短期内不会变。跑通最小闭环,后面的事都好说。建议收藏备用,等你要正式开工做 AI 漫剧的时候,这篇就是你的操作手册。