CAST模型：流程性视频检索的时序一致性解决方案

1. CAST模型技术解析：重新定义流程性视频检索

在当今视频内容爆炸式增长的时代，视频检索技术的重要性与日俱增。传统视频检索系统主要依赖全局视频-文本对齐，通过将视频片段和文本查询映射到共享嵌入空间来实现跨模态匹配。这种方法虽然简单有效，但在处理流程性视频（如烹饪教程、组装指南等）时却暴露出了明显缺陷——它们无法理解视频中动作的时序逻辑和状态转换关系。

想象一下，当你在学习一道菜的做法时，系统返回的可能是"放入烤箱"的步骤，而实际上你当前还处在"切菜"的阶段。这种检索结果虽然语义相关，却完全不符合实际的操作流程。这正是CAST模型要解决的核心问题。

CAST（Consistent Video Retrieval via State-conditioned residual Transition）的创新之处在于，它将流程性视频中的每个步骤视为一个视觉状态，并通过建模状态间的转换关系来增强检索的时序一致性。具体来说：

1. 状态表示：将视频片段编码为嵌入向量，每个向量代表一个特定的视觉状态
2. 转换建模：学习从当前状态到下一状态的残差转换，这个转换由文本指令条件化
3. 一致性约束：确保检索结果不仅在语义上匹配查询，还要符合流程的时序逻辑

这种方法的优势在于，它不再将视频片段视为孤立的单元，而是将其放在整个流程的上下文中考虑，从而产生更加连贯、实用的检索结果。

2. 模型架构与关键技术实现

2.1 整体架构设计

CAST采用了一种轻量级适配器架构，在冻结的预训练骨干网络（如CLIP）基础上进行扩展。这种设计既保留了预训练模型的强大表征能力，又通过少量可训练参数实现了状态转换建模。整个系统包含三个核心组件：

1. 冻结骨干网络：负责将视频片段和文本查询编码为共享嵌入空间的向量
2. 残差适配器：由两条并行路径组成，共同预测从当前状态到下一状态的转换
   • 指令条件化路径：基于文本查询和当前状态预测转换
   • 上下文注意力路径：利用历史上下文信息细化转换预测
3. 评分模块：结合语义匹配、视觉连续性和状态预测三个分数进行最终排序

这种架构的参数量仅为骨干网络的约0.5%，训练成本极低，却能显著提升检索质量。

2.2 状态转换建模

状态转换建模是CAST的核心创新。模型不是直接预测下一状态的绝对位置，而是预测一个残差转换Δ，通过以下公式计算预测状态：

v̂_t = Norm(v_{t-1} + Δ_{cond} + Δ_{ctx})

其中：

• v_{t-1}是当前状态的嵌入向量
• Δ_{cond}是由文本指令条件化的转换
• Δ_{ctx}是由历史上下文信息调整的转换
• Norm表示L2归一化

这种残差设计有几个关键优势：

1. 转换量级自然受限，避免预测状态偏离合理范围
2. 允许模型专注于学习状态变化，而非完整状态重建
3. 不同转换分量可以捕捉不同类型的状态变化规律

2.3 多模态注意力机制

为了充分利用历史上下文信息，CAST引入了多模态交叉注意力机制。具体实现包括：

1. 查询投影：将文本查询通过线性层投影为注意力查询
2. 上下文编码：将历史状态序列通过另一个线性层投影
3. 多头注意力：使用8头注意力机制计算查询与上下文的关系
4. 残差连接：保持信息流动，避免梯度消失

这种设计使模型能够动态地关注历史中最相关的部分，例如：

• 长期依赖：某些步骤可能需要参考多个步骤前的状态
• 关键转折点：流程中的关键步骤可能对后续状态影响更大
• 异常检测：与预期不符的状态变化可以被及时发现

3. 训练策略与优化技巧

3.1 对比学习目标

CAST采用了一种改进的对比学习目标，专门针对流程性视频检索的特点进行了优化。损失函数由三部分组成：

L = λ_s L_state + λ_i L_identity + L_aux

其中：

• L_state：状态对比损失，确保预测状态接近真实下一状态
• L_identity：身份对比损失，保持相同实体的连续性
• L_aux：辅助损失，帮助稳定训练

在实际实现中，我们设置λ_s=5.0，λ_i=1.0，强调状态一致性的重要性。温度参数τ设为0.07，用于调节相似度分布的尖锐程度。

3.2 负样本挖掘策略

高质量的负样本对对比学习至关重要。CAST采用了分层次的负样本挖掘策略：

1. 状态负样本：来自同一视频但不同步骤的片段

   • 避免使用直接前驱片段，因其已在上下文中
   • 优先选择时间距离较远的片段，增加难度

2. 身份负样本：来自不同视频但语义相似的片段

   • 使用Sentence-BERT计算文本相似度
   • 选取最相似但不是同一实体的片段

3. 简单负样本：随机选择的不同视频片段

   • 作为后备，确保每个查询都有足够负样本
   • 主要用于训练初期稳定模型

在YouCook2数据集上，这种策略使hard negative比例达到60%以上，大大提升了模型区分细微差别的能力。

3.3 训练技巧与参数设置

经过大量实验，我们总结了以下关键训练技巧：

1. 学习率调度：采用线性warmup（500步）后余弦衰减
2. 批量大小：使用大批量（512）确保足够的负样本
3. 正则化：权重衰减1e-3，适配器Dropout率0.1
4. 帧采样：CLIP骨干采用3帧/片段，VideoPrism用8帧
5. 训练周期：YouCook2（30轮），COIN（20轮），CrossTask（50轮）

特别值得注意的是，不同骨干网络需要不同的训练策略。例如，InternVideo2对学习率更敏感，而Qwen3-VL则需要更长的warmup阶段。

4. 推理流程与性能优化

4.1 三阶段评分机制

CAST在推理时采用了一种创新的三阶段评分机制，综合多种信号进行最终排序：

S = A + w_v B + w_p C

其中：

• A：文本-视频语义相似度（传统检索分数）
• B：视觉连续性分数（当前片段与候选的相似度）
• C：状态预测分数（预测状态与候选的相似度）
• w_v, w_p：平衡系数，通过验证集网格搜索确定

这种组合既保留了传统检索的优点，又引入了时序一致性约束。在YouCook2上，最优系数为w_v=0.3，w_p=0.9。

4.2 高效检索实现

为了将CAST应用于大规模视频库，我们实现了以下优化：

1. 两阶段检索：

   • 第一阶段：用传统方法快速召回Top-K候选
   • 第二阶段：用CAST完整评分重排序

2. 近似最近邻搜索：

   • 使用FAISS索引视频片段
   • 支持同时计算多种相似度

3. 批处理优化：

   • 并行计算多个查询的状态预测
   • 缓存中间结果减少重复计算

这些优化使CAST在千万级视频库上的检索延迟控制在毫秒级，完全满足实时交互需求。

5. 应用场景与效果评估

5.1 视频检索性能

在YouCook2、COIN和CrossTask三个主流流程性视频数据集上的实验表明，CAST显著优于传统方法：

1. 身份一致性：81%的检索结果保持实体一致（传统方法仅54.7%）
2. 状态准确率：将状态错误率从46.3%降至19%
3. 综合性能：在YouCook2上Top-1准确率提升15.8%

特别值得注意的是，随着流程复杂度的增加，CAST的优势更加明显。在包含10+步骤的长流程中，其优势可达25%以上。

5.2 视频生成重排序

CAST还可用于提升生成视频的质量。在Veo生成的候选视频上，CAST重排序的结果在人类评估中：

1. 整体偏好：55.1% vs 38.6%（传统方法）
2. 物理合理性：52.5% vs 38.6%
3. 时序逻辑：50.6% vs 39.9%

这表明CAST捕捉的状态转换规律确实反映了人类对流程合理性的认知。

5.3 实际部署考量

在实际部署CAST时，需要考虑以下因素：

1. 计算资源：

   • 适配器部分仅需约1MB存储空间
   • 推理时GPU内存增加不超过10%

2. 延迟：

   • 纯检索场景：<50ms
   • 生成+重排序场景：约200ms

3. 可扩展性：

   • 支持多种预训练骨干网络
   • 可灵活调整上下文长度

这些特性使CAST非常适合实际应用，从教育平台到工业指导系统都可以受益。

6. 局限性与未来方向

尽管CAST表现出色，但仍有一些值得改进的地方：

1. 上下文窗口限制：当前固定为5个历史步骤，难以捕捉更长依赖
2. 骨干网络依赖：受限于基础编码器的表征能力
3. 几何约束缺乏：状态空间组织完全由数据驱动

未来可能的发展方向包括：

1. 分层记忆机制：结合短期缓存和长期记忆
2. 显式状态分解：分离持久属性和瞬态变化
3. 多模态预测：联合预测下一状态和可能指令

这些改进有望进一步提升模型在复杂流程中的表现。