OmniVinci 是一个旨在构建全模态 LLM 的系统性方案，它能够联合感知图像、视频、音频和文本。
英伟达推出的OmniVinci开源全模态潜在逻辑模型，为提升机器智能跨模态感知能力带来新突破。该模型在架构上创新提出OmniAlignNet、时间嵌入分组、约束旋转时间嵌入三项关键技术，增强多模态嵌入对齐与时间信息编码。同时，引入数据整理和合成流程，生成大量对话数据。实验表明，不同模态相互促进，模型在多个跨模态任务上性能显著优于Qwen2.5-Omni，且训练样本量大幅减少。此外，还在机器人、医疗等下游应用中展现出全模态优势。
相关链接
- 模型：https://huggingface.co/nvidia/omnivinci
- 论文：https://arxiv.org/pdf/2510.15870
- 代码：https://github.com/NVlabs/OmniVinci
介绍
提升机器智能需要发展出跨多种模态的感知能力，就像人类感知世界一样。英伟达推出的 OmniVinci 旨在构建一个强大的开源全模态潜在逻辑模型 (LLM)。论文仔细研究了模型架构和数据整理方面的设计选择。在模型架构方面，提出了三项关键创新：
- OmniAlignNet，用于在共享的全模态潜在空间中增强视觉和音频嵌入之间的对齐；
- 时间嵌入分组，用于捕捉视觉和音频信号之间的相对时间对齐；
- 约束旋转时间嵌入，用于在全模态嵌入中编码绝对时间信息。
论文引入了一个数据整理和合成流程，生成了 2400 万个单模态和全模态对话。发现在感知和推理过程中，不同模态之间相互促进。模型在 DailyOmni（跨模态理解）上的性能优于 Qwen2.5-Omni，提升幅度为 +19.05；在 MMAR（音频）上提升幅度为 +1.7；在 Video-MME（视觉）上提升幅度为 +3.9，而训练样本量仅为 0.2T，比 Qwen2.5-Omni 的 1.2T 减少了 6 倍。最后，我们在机器人、医疗人工智能和智能工厂等下游应用中展示了全模态优势。
方法概述
论文提出了一种全模态理解的基础模型。通过所提出的全模态对齐机制，将来自视觉、音频和文本模态的信息融合到一个统一的全模态标记序列中。
全模态字幕生成流程。视频被分割成 20 秒的片段。视觉和 音频字幕分别针对每个片段独立生成，但缺乏跨模态上下文，并且包含 错误的理解（模态特异性幻觉）。一个独立的 LLM 执行跨模态校正和 摘要，以生成准确的全模态字幕。
实验结果
训练数据在各种模态中的总体分布饼图，显示了图像（36%）、非语音声音（21%）、语音（17%）、全模态（15%）和视频（11%）的比例。
针对全模态对齐的消融研究。所提出的时间嵌入分组（TEG）、约束旋转时间嵌入（CRTE）和 OmniAlignNet 均能持续获得更优的平均性能。 跨模态的性能。
Omni 基准测试，包括视频音频数据集 Worldsense 和 Dailyomni，以及图像音频数据集 Omnibench。
OmniVinci展现出强大的视觉和听觉感知能力，能够处理单模态或多模态场景。该模型还支持音频提示和输出。
结论
OmniVinci 是一个旨在构建全模态 LLM 的系统性方案，它能够联合感知图像、视频、音频和文本。论文讨论了包括 OmniAlignNet、时间嵌入分组和约束旋转时间嵌入在内的架构创新，并结合了增强的数据和训练方案。OmniVinci 展现了前沿的全模态性能，降低了训练和推理成本，并改进了下游智能体应用。
