一文说清楚什么是多模态大模型，与大模型有什么区别-开发者社区

什么是多模态大模型(LMMs)
多模态大模型(LMMs)与大型语言模型(LLMs）的区别
多模态大模型的关键技术
常见的多模态大模型
GPT-4o (2024, OpenAI)
Qwen-VL（2024，阿里云）

我们都意识到在生成式人工智能（AI）领域及其在语言翻译、图像识别和语音转文字转换等领域的快速进步。近年来，我们见证了大型语言模型（LLMs）的进步及其在商业中的成功应用。然而，目前LLMs设计上通常专注于文本模态。这阻碍了人工智能（AI）捕捉现实世界的复杂性，现实世界由图像、声音和文本的同时存在组成。

多模态大模型（LMMs）开始通过同时处理不同的数据模态来缩小这一差距。

大型语言模型（LLMs），例如 GPT-4，在基于文本的任务上表现出色，但无法处理语音或视频等非文本输入。在这个背景下，多模态大模型（LMMs）正在兴起，以处理各种数据类型，如文本、图像和音频。

多模态大模型：Large Multimodal Models (LMMs)
大语言模型 : Large Language Model（LLMs)

什么是多模态大模型(LMMs)

多模态大模型（LMMs）是能够理解和处理各种输入形式的 AI 模型。

这些输入包括各种“模态”，如图像、视频和音频。模态是 AI 模型的数据。

LMMs 模仿了人类与世界互动的方式。

一个多模态系统可以在多种模态下生成输入和处理输出。例如，Gemini，由google开发的一个语言模型，可以通过将其训练过程整合不同类型的数据（如文本、视频和音频）来在多种模态下生成输入和处理输出，从而以多模态的方式理解和生成内容。

假设你有一个超级聪明的机器人助手，它是一个多模态大模型。你可以用各种方式跟它交流，比如发文字、发图片、说话，甚至让它看视频。而它的厉害之处在于——它能把这些信息全都理解，并给你特别有用的回答！

图中展示了医疗保健中的多模态 AI 系统。

它接收两个输入：

1）一张医学图像；

2）一个文本查询：“这张图像中是否存在胸腔积液？”

系统输出包括对给定查询的回答（即预测）。

多模态可以指以下之一或多个：

输入和输出属于不同的模态（例如，文本到图像，图像到文本）
输入是多模态的（例如，一个可以处理文本和图像的系统）
输出是多模态的（例如，一个可以生成文本和图像的系统）

多模态大模型(LMMs)与大型语言模型(LLMs）的区别

多模态大模型（LMMs）和大语言模型（LLMs）在训练、设计和操作方面是相似的。这两种模型都基于类似的训练和强化策略，并具有类似的底层 Transformer 架构。

LMMs 可以看作是 LLMs 的一种扩展形式，因为它们可以处理多种模态，而 LLMs 仅限于文本。通过将多种模态集成到模型中，LLMs 可以转化为 LMMs。

特性	多模态大模型（LMMs）	大型语言模型（LLMs）
数据模式	LMMs 可以理解和处理不同的数据模态，包括文本、音频、视频和感官数据。	LLMs 专注于文本数据的处理和生成。
数据采集与处理	训练 LMMs 需要复杂的数据收集，因为它涉及不同格式和模态的各种内容。因此，数据标注等技术对于匹配不同类型的数据以供使用至关重要。	LLMs 训练涉及从书籍、网站和其他来源收集文本数据，以增加语言多样性和广度。
模型架构和设计	LMMs 需要复杂的架构，因为它们整合了不同类型的数据模态。因此，LMMs 使用不同神经网络类型和机制的组合来有效地融合这些模态。例如，LMMs 架构可以使用卷积神经网络（CNNs）处理图像，以及使用 Transformer 处理文本。	LLMs 使用 Transformer 架构处理文本等序列数据。
预训练	LMMs 的预训练涉及使用多种数据模态。任务是让模型学会将文本与图像相关联或理解视频中的序列。	LLMs 预训练涉及大量文本。LLMs 的预训练还包括如掩码语言建模等技术，模型预测句子中缺失的单词。
微调	LMMs 的微调包括帮助模型学习跨模式关系的数据集。	LLMs 使用针对特定任务（如回答问题或总结文本）定制的专业文本数据集进行微调。
评估与迭代	LMMs 在多个指标上进行评估，因为它们支持多种数据模态。LMMs 的常见评估指标包括图像识别的准确性、音频处理的质量以及不同模态间信息的整合。	评估指标关注语言理解和文本生成，例如相关性、流畅性和连贯性。