10Eros-Max架构解析：正交投影技术如何让多模型融合成为可能

10Eros-Max架构解析：正交投影技术如何让多模型融合成为可能

10Eros-Max是基于MiniMax H3基础模型开发的创新实验项目，通过正交投影技术实现了多模型融合，将LTX 2.3、Wan 2.2视频扩散模型和Krea 2图像扩散模型的学习模式整合到H3的 transformer架构中，为视频生成领域带来了新的突破。

多模型融合的核心架构设计 ✨

10Eros-Max采用统一的transformer架构，配备特定模态输入投影器（video、audio、condition），这些投影器将不同类型的数据输入到一个包含52个块的transformer堆栈中。这个堆栈由2个块的token_refiner（用于文本条件处理）和50个主块组成，并配有特定模态的输出头。整个transformer堆栈采用相同的块架构，这使得注意力和MLP层成为模型间特征迁移的理想目标，而模态路由则位于管道边缘，而非transformer内部。

正交投影技术：多模型融合的关键 🔑

10Eros-Max的修改采用了正交投影数学方法，新的权重模式主要沿着基础模型未使用的方向添加到H3中。这种方式使迁移的特征能够补充H3，而不是覆盖它。对于跨域的Krea模型融合，这一点尤为重要：Krea的模式和H3的模式在权重空间中几乎垂直，这为正交投影提供了最大的发挥空间，同时几乎完全保留了H3自身的方向。

多模型融合的实现步骤 📝

LTX 2.3与Wan 2.2视频模型融合

LTX模型的融合首先应用于H3的前端块，随后Wan模型的融合针对H3的中后端块。每个融合过程都直接修改了注意力权重；第二次融合还在更广泛的块范围内修改了前馈层。这两个视频捐赠模型的融合过程表明，完全不同的视频模型架构都可以为H3贡献各自独特的特征。

Krea 2图像模型的跨域融合

第三次融合引入了Krea 2——一个图像扩散模型而非视频模型。由于图像模型学习单帧内的空间关系，而视频模型学习多帧间的时空关系，这是一个更具探索性的方向。Krea的贡献被精确限定在其注意力结构中携带空间学习的部分：查询投影（编码要关注的视觉特征），以及在少数位置的键和值投影对（编码这些特征之间的关系）。前馈层也进行了部分迁移，但只采用了Krea门控MLP的输入侧，跳过了输出投影，因为Krea的组合逻辑是为图像模型的输出路径训练的，与H3的视频处理不匹配。这种精确的范围控制使Krea能够贡献更精细的视觉特征和细节，而不会破坏H3的时间连贯性。

多模型融合的优势与保障 🛡️

MiniMax的架构文档指出，H3的注意力和前馈层不包含特定模态结构，处理“这是音频、视频还是文本”的部分位于模型的其他位置。这意味着注意力和前馈权重是从其他训练模型迁移特征的架构适当位置，而不会干扰H3处理每种模态的方式。这同样适合同域视频捐赠模型和跨域图像捐赠模型，尽管跨域迁移需要更仔细的范围界定，因为并非图像模型的所有学习模式在视频模型中都有连贯的对应部分。

结合对受影响块的精确控制——特别是对于Krea，精确控制哪些注意力头位置接受注入，以避免干扰参与音频处理最多的头槽——这确保了H3在产生具有音频的连贯视频的核心能力的同时，将其美学和运动特征向捐赠模型转移。模型的实际块权重、安全功能和防护措施在架构意义上保持未修改——每一次修改都是对现有权重的受控 additive 扰动，而不是替换模型自身的结构。

许可证信息 ℹ️

10Eros-Max适用标准的H3社区许可证。由于此版本现在包含来自LTX 2.3、Wan 2.2和Krea 2的迁移特征，这些源模型的社区许可证也适用于来自每个模型的特征部分。

如需使用10Eros-Max项目，可通过以下命令克隆仓库：

git clone https://gitcode.com/hf_mirrors/TenStrip/10Eros-Max