做 AI 短片最折磨人的一件事,就是提示词抽卡。你想要的是“主角从窄巷尽头走过来,镜头缓慢拉远,黄昏的光打在墙上”,引擎给的是各种意义上的“像,但完全不对”。跑一遍两遍还能忍,跑上五十遍以后你甚至开始怀疑自己表达有问题。我后来换了套完全不同的思路:不把画面描述给 AI 听,而是直接在 3D 画布里把场景摆给它看。这就是 ArtCraft 的核心理念——用 3D 画布做可控 AI 短片,用空间布局替代文本咒语,用关键帧和镜头轨迹替代随机性。
ArtCraft 不是又一款“咒语优化器”,而是一层夹在创意思路和生成模型之间的控制层。你可以在里面搭出场景结构、摆放人物占位、设定镜头走位,再用生成模型把这些粗糙的几何占位“点亮”成最终画面。它适合所有被生成结果失控搞到崩溃的人:做短视频的、搞独立动画的、想批量生产素材的,甚至刚刚接触 AI 创作的新手——只要你不想再靠运气出片,这套逻辑都值得花十分钟了解一下。
1. 先聊聊“为什么提示词抽卡这件事必须被推翻”
1.1 抽卡的问题不是随机,是语义粒度太粗
很多人觉得提示词抽卡是因为模型“不够聪明”,其实不是。大模型对自然语言的理解已经很强了,它的问题恰恰出在“自然语言本身不适合描述视觉结构”。
你想表达一个“A 站在画面左侧,B 从右后方走近,镜头跟着 B 移动,主角始终处于焦点范围内”——用文字写出来已经是一小段分镜脚本了,而且这段脚本在不同模型、不同版本、不同随机种子下会被解释出完全不同的构图。更麻烦的是,提示词里的每个词对生成结果的影响力是非线性的。改一个形容词可能导致整体构图崩掉,删掉一个连词又可能让角色凭空消失。这种“语义粒度太粗”才是抽卡现象的根源:你在用文字级的手段控制像素级的细节,中间的信息损耗大得惊人。
在 ArtCraft 的工作流里,这些信息根本不用写进提示词。位置就是某个立方体在场景里的坐标,人物关系就是两个胶囊体之间的距离和朝向,镜头运动就是一条带速度曲线的路径。自然语言在这里只负责补全氛围和质感,不再肩负“控制构图”这种它根本不擅长的工作。
1.2 失控的隐性代价:不只是浪费时间
反复抽卡最隐蔽的损耗不是时间,而是审美判断力。我见过很多创作者在连续生成几十版之后,已经分不清“这版是否真的符合预期”,只是因为看了太久,产生了习惯性的接受。这种状态在创作心理学里叫“感知疲劳”,它会让你的作品标准在不知不觉中下滑。
另一个代价是复现困难。某一天你运气好,抽到一版几乎完美的结果,你赶紧锁住种子,想以后复现。第二天你发现换了电脑、换了模型版本,连输入法自动补全的 prompt 都一模一样,生成出来的东西却完全两样。种子依赖环境、依赖模型权重、依赖采样器状态,它并不是一个可靠的“存档点”。真正可靠的存档方式只有两种:要么把画面信息明确地存成结构数据,要么把生成结果存成图像序列。ArtCraft 做的显然是前者——场景里每个物体的坐标、旋转、缩放、材质标签都是结构化数据,随时可以改、可以回放、可以重新生成。
1.3 3D 画布解决的三个具体问题
用 3D 画布作为创作前端,说白了就是把不可控的“生成”拆解成可控的“摆拍+补全”。它具体解决三个问题。
第一是构图确定性。你在 3D 画布里摆好一个低角度机位,前景放一个模糊的柱子轮廓,远处放一颗发光小球代表落日,AI 生成时会尊重这套空间关系,不会再给你“随机”出一个平视视角。
第二是时间连续性。短片最怕的从来不单帧不好看,而是帧与帧之间角色、镜头、光线的跳跃。3D 画布里的镜头轨迹和时间关键帧给生成模型提供了跨帧约束,生成的片段会沿着你设定的路径走,而不是靠模型自己“想象”运镜。
第三是拆分修改能力。传统文生视频里你想改一个镜头,基本要重新生成整段;在 ArtCraft 里你只需要移动对应的镜头节点或对象节点,再重新生成一次。它不是让你放弃随机性的乐趣,而是把随机性圈在一个你画好的笼子里。
2. 设计思路梳理:先摆再生成,而不是求着模型赏画面
2.1 ArtCraft 不是一个三维建模软件,是一层“控制层”
ArtCraft 的核心并不是建模能力多强。事实上它的几何体功能非常简单:立方体、球体、圆柱、胶囊,足以应付绝大多数场景占位需求。它真正花心思的地方在一个节点化的控制台,这个控制台把创作拆成四类节点:场景节点、镜头节点、时间节点、生成节点。
场景节点负责物体的位置、旋转、缩放和“视觉标签”。比如一个立方体你可以贴上“墙体”“柱子”“箱子”这样的标签,胶囊体可以贴上“主角”或“配角”。这些标签不需要详细描述,只是一个指意锚点,生成模型会结合标签和几何形状来推断具体材质和细节。
镜头节点管相机参数:焦距、机位轨迹、景深、是否启用运动模糊。时间节点用来定义时长、镜头切换点、角色关键姿势。生成节点则是最后一步:选择你要用的生成模型、挂接全局提示词、设定各项生成参数。所有节点拼成一个有向图,你可以理解为“场景数据 → 镜头数据 → 生成参数 → 最终视频”的一条流水线。
2.2 “占位几何体”就是给生成模型看的编剧脚本
我第一次用 ArtCraft 时犯了个错误:试图在里面把场景建得尽量精细,结果发现毫无必要,甚至有害。场景复杂到一定程度,生成模型的语义解析会开始打架,最终画面反而崩得厉害。后来我逐渐摸到边界:ArtCraft 里的几何体,本质上就是给生成模型看的“编剧脚本”。
这个脚本的语言不是文字,而是空间信息。一个大方块告诉你“这里有面墙”,一个高处的小球告诉你“这里有一盏灯”,一个绿色胶囊告诉你“这里有一个穿绿衣服的人”。生成模型会读取这些空间关系,然后在它的视觉词典里寻找对应的“质感化方案”。所以重点不在于几何体长得像不像实物,而在于位置、朝向、相对关系是否清晰。你只需要告诉它“这个区域发生了什么”,而不是“这个东西长什么样”。
这项工作很像给故事板做“灰模”:所有角色都先用统一规格的胶囊代替,所有道具都是原色立方体,一切细节留给视觉模型去发挥。这个过程越朴素,生成模型自由发挥的余地反而越可控。
2.3 控制力分层:世界、镜头、角色互不干扰
ArtCraft 最重要的设计在于把控制力拆成三个独立维度:世界层控制“场景里有什么”,镜头层控制“观众怎么看”,角色层控制“演员怎么动”。三者是分开调参、分开生成、最后合成的。
这种分层解决了一个长期困扰创作者的问题:传统生成工作流里,场景、镜头和角色互相纠缠。你调一个镜头上摇的参数,可能连带导致角色服装变化、墙面反光异常;但这个世界层、镜头层、角色层绑定的权重不同,生成时会按不同强度去约束画面,你可以单独加大镜头约束而放松角色细节约束,不会牵一发动全身。
在实际创作中,这意味着你可以先调好一条分镜,然后在不动镜头的前提下让角色层迭代十多版不同动作方案;或者定了角色走位后,在镜头层尝试三种完全不同的运镜。每一步都看得到结果,随时反悔,再也没有“全盘重来”的可怕选项。
3. 实操实录:从空场景到一段 15 秒可控 AI 短片
3.1 新建项目并设定输出规格:先想清楚你出给谁看
打开 ArtCraft,第一步是新建项目并选择输出规格。看起来是个简单动作,但这里藏着第一个新手坑:规格选错,后面全白做。
横屏 16:9 适合 B 站、YouTube 和PC端展示;竖屏 9:16 适合抖音、快手这类手机端场景。帧率我建议直接选 25fps,别选 30fps。不是因为 30 不好,而是 25fps 每秒帧数是整数,做关键帧打点好算,导出序列帧时的文件数量也更规整。15 秒就是 375 帧,这个数字非常好记。
选定规格后,ArtCraft 会生成一个带地面网格的空场景。这时候别急着做任何花哨操作,先把比例网格调出来。16:9 画幅里人物应该占多高、镜头离地多少,在网格上画好参考线,后面放任何物体都有据可依。
3.2 搭出“叙事骨架”:用基础几何体构建空间关系
这一步是整个工作流的核心。以一个 15 秒的“窄巷相遇”短片为例,我用了大概 10 个几何体,顺序如下。
先放地面:一个大平面,标签写“湿水泥地面”,缩放到镜头覆盖范围的两倍左右,给镜头移动留够空间。再放两面墙:两个略高的立方体,分别放在左右两侧,中间留出两米左右的通道,标签写“旧砖墙”。接着放主角:一个深绿色胶囊体,放在通道尽头偏左的位置,标签写“穿深绿色大衣的女性”;再放配角:一个暗红色胶囊体,从画面右侧后方往前移动,标签写“穿暗红色卫衣的男人”。最后是环境点缀:通道尽头放一个黄色小球代表“路灯光源”,墙根放两个灰色小立方体代表“杂物箱”。
摆放时最重要的是把物体之间的相对位置和朝向调准,因为生成模型会默认赋予“胶囊体”人物一定的行走方向——它倾向于让角色朝向胶囊体“面”的方向移动。所以放完角色后,记得调整旋转角度来确定动线。全部摆完后按一下“语义预览”,ArtCraft 会输出一版非常粗略的深度图,用来检查空间关系是否正确。
3.3 把镜头当成讲故事的手:关键帧与运镜节奏
场景摆好之后,进入镜头的编排。这步决定观众最终看到什么,是整个短片的信息主导者,建议多花时间。
在 ArtCraft 里,镜头是一条可编辑的贝塞尔曲线。起点是第一个镜头的机位,终点是最后一个镜头的机位,曲线形状决定运镜方式。我常用的套路是“引导推进”:前 5 秒镜头固定在通道入口,保持一种“观察者”的距离感;中间 5 秒缓慢向前推,让观众逐渐接近主角;后 5 秒镜头略微上摇,并往右侧横移,露出配角的脸。这条曲线看起来很简单,但它确立了短片的情绪节奏。
关键帧设置上,我的经验是每个速度变化点都要单独打一个关键帧,并调整出缓入缓出曲线。AI 生成的画面会自动模拟出一定的镜头惯性,如果关键帧之间的速度变化过于突兀,最终画面里就会出现奇怪的突然加速或画面跳变。这里有个小技巧:把关键帧之间的时距尽量控制在 60 帧以上,也就是至少 2.4 秒,能让运镜平滑度有明显提升。
3.4 挂接生成节点:全局提示词与局部标签的组合用法
镜头调到你认为“灰模看起来很顺”的程度后,才轮到生成参数。先挂接生成节点,选择你常用的视频生成模型。不同模型对结构约束的支持程度不一样,ArtCraft 会检测模型是否支持结构控制接口,不支持的模型会降级为无约束输出——这点务必在生成前看清楚。
提示词策略在这里和传统文生视频完全不同。全局提示词只写氛围和风格:黄昏、老城区、电影感、16mm 镜头、颗粒感。局部标签跟物体走,只是补充质感:墙的标签追加“青苔”“剥落的墙皮”,主角胶囊体追加“围巾”“风衣质感”,路灯追加“暖黄色,有光晕”。场景中的空间结构信息已经由 3D 画布部分接管,提示词不再需要承担构图任务。
生成参数上我会开“结构保留”到 0.72、“运动权重”到 0.5、“细节想象力”到 0.4。这几个参数的含义和控制逻辑,后面专门用一节展开。第一次生成建议先用低帧数测试——比如只生成 75 帧,用来验证场景读取是否正确。确认没问题再全量生成 375 帧,防止跑完才发现场景崩了,整个过程要重来。
3.5 迭代与多 Pass 合成:把“差一点”变成“正好”
第一版生成结果很少让人满意,但没关系,ArtCraft 的迭代成本比传统工作流低得多。你不需要去改提示词,只需要在三维画布里调整对应节点。
比如模型把主角从“穿大衣的女性”理解成了“穿裙子的女性”,这是局部标签不够明确的问题,回到场景里给角色胶囊体调整朝向,并把标签改成“短款大衣、长裤”这类更具体的描述。如果模型把墙体细节做得太干净,就把墙体的视觉标签改成“剥落涂层、砖块裸露”,并适当降低结构保留度给模型更多细节幻想空间。如果运镜节奏僵硬,就去调镜头曲线上的关键帧手柄。
迭代完成后,我的习惯是不止生成一个 Pass。Pass A 重结构,Pass B 重氛围,Pass C 重材质,然后用视频处理工具按时间轴做插值混合。多 Pass 合成能有效中和单次生成的随机瑕疵,是让画面稳定的非常实用的手段,本质相当于传统 CG 里的多层渲染合成。
4. 参数调优与控制力进阶:从“大概对”到“精确命中”
4.1 结构保留度:唯一最重要的滑杆
结构保留度是一个 0 到 1 之间的参数,它控制生成模型在多大程度上遵守你给出的几何结构。设置 1 的时候,生成结果几乎就是三维场景的材质化渲染;设置 0 的时候,三维画布基本被无视,退回普通提示词抽卡模式。
我最常用的范围是 0.65 到 0.85。低于 0.65,结构信息开始模糊,墙体会变形,人物会重叠;高于 0.85,画面显得刻板,缺少生成模型带来的质感惊喜,像在看一版低配的 3D 渲染图。这个参数的取值要根据场景复杂度微调:几何体越多、空间关系越复杂,越要提高结构保留度,否则模型容易“漏看”某个物体;几何体很少、画面内容单一时,可以适当降低,让模型用想象力补细节。
调参技巧很简单:先锁定其他参数,单独把结构保留度从低到高跑一遍 75 帧的测试序列,对比哪一档的构图最稳定。整个过程大概 20 分钟,却能省下接下来一整天的返工时间。
4.2 运动权重与镜头稳定性
运动权重控制生成模型对画面中动态变化的敏感程度。它其实是个组合参数,包含“角色运动权重”和“镜头运动权重”两个分量,表面看是一个滑杆,但在高级模式下可以拆开调。
初次做短片的人往往把运动权重拉高,觉得“动得越多越有氛围”。这是个误区。运动权重过高有两种典型副作用:一是角色动作幅度过大,走过位、穿模、身体扭曲;二是镜头运动变得神经质,出现不可解释的“呼吸感”抖动。
我的经验是:角色单点运动权重 0.4 到 0.55 就够,镜头运动权重控制在 0.3 以内。如果你的镜头本身已经有很明显的运镜轨迹,镜头运动权重甚至可以直接下调到 0.15 到 0.2,让模型把精力集中在画面质感上,镜头运动基本交给三维画布里的曲线控制。记住一个原则:生成的动效是锦上添花,不能代替你的关键帧设计。
4.3 身份一致性与种子策略
短片最让人头疼的问题之一,是同一个角色在不同镜头里长得不一样。上一秒还是深绿色大衣,下一秒变成灰绿色;上一秒还是齐肩发,下一秒变成马尾辫。这个问题在 ArtCraft 里仍然存在,但有系统性解法。
核心思路是“身份锚定 + 种子分组”。每一个角色在第一次生成时记录它的种子编号,后续所有包含该角色的镜头都从这个种子编号的邻域里派生。所谓“种子邻域”,就是把种子加减几个固定数值构成一组候选,每次从这个候选池里挑选。这样做的好处是:随机性仍然存在,角色有微妙变化,但不会彻底改头换面。
同时,每次角色离场前,我都会设置一个“身份参考窗”——把最后几帧的角色图像自动保存为参考帧,供后续镜头生成时挂接。这套做法基本能保证一个 5 分钟以内短片里,主要角色不会出现换脸级别的错误。
4.4 局部提示词的三段式写法
ArtCraft 里每个几何体都可以挂一段局部提示词,用来引导该区域的视觉细节。很多人沿用写文生视频 prompt 的习惯,写成长段落,这并不合适。局部提示词的最佳格式是“对象词 + 材质词 + 光照倾向”的三段式,总词数不超过 15 个。
比如一个角色胶囊体的局部提示词可以写成“女性,短大衣,亚麻质感”;一个路灯球的局部提示词写成“街灯,暖白光,轻微光晕”;一面墙的局部提示词写成“砖墙,旧化,雨后反光”。三个部分各司其职:对象词决定模型对几何体的语义归类,材质词决定表面质感,光照倾向决定这个小区域的光环境。局部提示词不要写动作、不要写情绪、不要写镜头语言,那些属于全局提示词和镜头节点的职责范围。
5. 常见问题与排查技巧实录:都是真实踩过的坑
5.1 生成结果“结构全崩”的排查顺序
结构崩坏是新手最容易撞上的问题,表现为墙面歪掉、人物和背景叠在一起。我排查顺序是:先检查几何体数量是否太多,如果超过 25 个,适当合并或删除一些装饰体;然后检查每个几何体是否都打上了明确的视觉标签,没标签的物体生成模型只能猜,猜就容易崩;最后检查结构保留度是否过低,如果低于 0.6,直接拉到 0.75 重试。
还有一个容易被忽略的原因:几何体之间发生穿透。人物胶囊体穿入了墙体立方体,生成模型会把这个区域理解成“半透明物体”,导致画面出现奇怪的融合效果。解决方法是在 3D 画布中把穿透物体拉开一点距离,别偷懒。
5.2 画面“抖动”和“闪烁”的处理思路
生成视频的抖动是相邻帧随机性过大造成的,ArtCraft 里大多由两个原因引起:镜头速度曲线有突变,此时回到镜头曲线编辑器,重新处理关键帧的缓入缓出;另一个原因是细节想象力参数过高,导致帧与帧之间的细节差异过大。细节想象力一般在 0.3 到 0.5 之间最安全,超过 0.6 很容易闪。
如果上述两项都调整后仍有小幅抖动,我的手段是多 Pass 合成取平均。生成两个结构保留度相同、种子邻域不同的版本,用视频后期工具的“混合”模式把两版叠在一起,能明显削弱闪烁。代价是细节纹理也会柔和一些,适合特写镜头。
5.3 角色一出镜头就“换人”的原因与补救
角色在镜头里待了好几秒都稳定,一旦暂时离开画面,再出现就换了一张脸,这几乎是每个人都遇到过的问题。原因很简单:角色离开画面后,身份锚定的参考帧失效了,“身份记忆”丢失。
解决办法有两个。第一,在角色离场前的最后几帧,把画面保存为身份参考帧,归到该角色的参考帧库中;第二,在角色再次出场前,先单独生成一张该角色在下一镜头场景中的“归位测试图”,确认形象稳定后再继续。这两个动作看起来很繁琐,但对多镜头短片来说,能省下大量后期修补的功夫。
5.4 生成速度快不等于出片快:批次规划经验
ArtCraft 的每一帧都要过一遍扩散采样,计算量不低。有人为了省事一次性生成整段 375 帧,跑到第 200 帧发现构图歪了,只能全废。更理性的方式是按镜头分批,每个镜头独立生成、独立验收。
我习惯把 15 秒短片切成 3 到 5 个镜头段,每段 3 到 5 秒,分别生成后接拼接。每段生成前先跑 20 帧测试,确认该段场景读取正确、角色形象稳定、镜头曲线流畅,再投入全量生成。三个小测试加起来不过几分钟,但避免了整段返工的惨剧。最后拼接时留出 10 帧左右的重叠,用交叉溶解过渡,镜头衔接会更自然。
5.5 导出文件与后期顺畅协作的建议
最后提醒一个细节:ArtCraft 导出视频前,建议把每个镜头段导出为 PNG 序列帧,拿到剪辑软件中合成 MP4,而不是直接导出 MP4。导出序列帧的好处是,你可以分段调整转场、加字幕、做局部重生成,不用整段重新导出。
我在一次长片项目中就是因为直接导出了 MP4,想改一个镜头时不得不重跑整个合成流程,白白损失一个下午。从那之后,所有生成结果一律先出序列帧,转场、调色、音频全部弄完之后,最后才统一合成 MP4。序列帧文件体积大,但可控性和可维护性远超直接出片,这笔硬盘空间花得值。
收个尾:几个帮你少走弯路的私人习惯
用了挺长一段时间 ArtCraft 后,我最大的体会是:这套工作流真正改变的,不是生成质量本身,而是你的创作节奏。传统文生视频推着你“反复抽卡”,把精力消耗在等待和碰运气上;ArtCraft 则像导演在排练现场:先让演员在空舞台上走位,灯光、布景、机位确认完毕,再叫摄影组进场。它把创作重新拉回到“先想清楚再动手”的轨道上。
最后分享一个个人习惯:我要求自己第一遍做灰模时尽量不追求“这是不是最终效果”,所有几何体颜色统一为灰色,标签从简。画面越朴素,越能暴露镜头和走位问题。等灰模的调度跑顺了,再逐个场景加标签、调提示词、跑生成。这套流程帮我砍掉了至少一半的返工时间,也让我重新找回了“我在拍片”的掌控感。如果你也想摆脱提示词抽卡,建议从最粗糙的三个方块和一个胶囊开始,先做一段 5 秒钟的极短片,跑通整套链路再放大你的野心。