多模态AI完整学习路径：从CLIP到多模态Agent的25节课架构演进指南

• 教程
• 人工智能
• 大模型

ai-engineering-from-scratch-zh仓库的多模态 AI 篇（阶段 12，phases/12-multimodal-ai/）用 25 节课把多模态大模型的完整演进路线讲了一遍：从 ViT 的图像块 token、CLIP 对比式预训练，一路到能读截图、点按钮的多模态 Agent。每一课都配有中文讲义 docs/zh.md 和可直接运行的 code/main.py，非常适合想系统补齐视觉语言模型（VLM）知识的初学者。

25 节课的架构演进全景

这 25 节课不是随意排列的，它还原了 2020–2026 年真实的技术演进脉络：

前置要求是阶段 7 的 Transformer 和阶段 4 的计算机视觉，具体说明见 phases/12-multimodal-ai/README.md。

第一课：图像如何变成 Transformer 能吃的 token

一切的起点是把 HxWx3 的像素网格切成正好能被 Transformer 处理的序列。2020 年 ViT 的答案简单直接：切成 16x16 的 patch → 线性投影成向量 → 加上位置嵌入。以 ViT-B/16 为例，一张 224x224 的图变成 14x14 = 196 个 patch token，每个 token 是 768 维向量。

到 2026 年，每个开放权重 VLM 的"视觉塔"都是这套原语的后代。这节课用纯标准库 Python 搭出 patch 分词器，帮你建立"视觉 token"的具体心智模型。讲义：01 课讲义。

第二课：CLIP 对比式预训练如何对齐图文

CLIP（2021）证明了一个足以撑起后续五年的想法：只用 4 亿对"嘈杂"的网络图文 + 一个对比损失（InfoNCE），就能把图像编码器和文本编码器对齐到同一个向量空间——零监督标签。由此得到的嵌入空间可以直接做零样本分类和图文检索，这也是今天几乎所有向量检索、语义搜索的地基。

课后可以动手实现一个数值稳定的 InfoNCE 损失，并理解 SigLIP 用 sigmoid 损失为什么能扩展到超大 batch。讲义：02 课讲义。

桥接实验：Q-Former 与门控交叉注意力（课 3–4）

CLIP 对齐了图文，但它不会写 caption、不会回答问题。两节课讲了两条桥接路线：

• BLIP-2 的 Q-Former：32 个可学习 query 通过交叉注意力去"注视"图像，把一张图压缩成 32 个 token 再喂给冻结的 LLM——高效但信息有损；
• Flamingo 的门控交叉注意力：证明单个模型能处理任意交错的图像、视频、文本序列，并支持 in-context 学习。

这两课的价值在于理解"为什么后来大家都不用 Q-Former 了"。

LLaVA 配方：为什么"更简单的赢了"（课 5–9）

LLaVA（2023）是被抄得最多的多模态架构：用一个 2 层 MLP 投影器直接替换 Q-Former，把 ViT 的全部 576 个 patch token 倒进 LLM 输入序列，再在 15.8 万轮 GPT-4 生成的视觉指令上微调。没有瓶颈、没有奇怪的两阶段预训练——8 张 A100 跑一天就能出一个开放 checkpoint。

课 5–9 沿着这条配方主线展开：

• 课 5LLaVA 与视觉指令微调：实现投影器，走一遍两阶段配方；
• 课 6：任意分辨率视觉（Patch-n'-Pack），解决"真实图片不是 224x224 方块"的问题；
• 课 7：开放权重 VLM 配方大对比——到底哪个组件才重要；
• 课 8：LLaVA-OneVision 用一套配方统一单图、多图、视频；
• 课 9：Qwen-VL 家族与动态 FPS 视频处理，中文开源生态的代表。

统一生成：一个 Transformer 干所有模态（课 10–16）

前半程的 VLM 都是"外挂"：先训文本 LLM，再挂一个视觉编码器，最后微调接缝。这 7 节课展示了社区如何把视觉、图像生成、音频全部塞进同一个词表：

• InternVL3（课 10）：原生多模态预训练，从源头对齐而非事后打补丁；
• Chameleon / Emu3（课 11–12）：早融合 token 与"下一 token 预测"做图像/视频生成；
• Transfusion / Show-o / Janus-Pro（课 13–15）：自回归与扩散混合、解耦理解编码器 vs 重建编码器等工程权衡；
• MIO（课 16）：任意到任意的流式多模态，对标 GPT-4o 的实时能力。

从看一张图到听一段话：视频与音频扩展（课 17–20）

• 课 17–18：视频的时间 token 与 grounding，以及百万 token 上下文下的长视频理解；
• 课 19：音频-语言弧线，从 Whisper 的 68 万小时弱监督 ASR 到 Audio Flamingo 3；
• 课 20：Omni 模型与 Thinker-Talker 拆分，理解实时语音交互为什么要在 250ms 内回应。

落地应用：文档 RAG 到多模态 Agent（课 21–25）

最后 5 节课把前面的每条技术线拉到一起：

• 课 21 具身 VLA：RT-2、OpenVLA、π0、GR00T——模型第一次读网页上的菜谱并在厨房机器人上执行；
• 课 22 文档与图表理解：PDF、表格、脚注的版面语义，纯图像理解抓不到；
• 课 23–24 多模态 RAG：ColPali 视觉原生文档检索，跨文本/图像/音频/视频的跨模态检索。传统 RAG 每走一步都丢信号（OCR 丢图表、分块拆表格），视觉原生方案直接从页面嵌入起步：

• 课 25 多模态 Agent（综合实战）：设计"感知 → 推理 → 行动 → 观察"的 agent 循环，让 VLM 以 JSON 吐出点击坐标、输入文本等结构化动作。这也是整个阶段的大作业，前置要求是阶段 14 的 Agent 工程。讲义：25 课讲义。

如何开始学这 25 节课

1. 确认已掌握阶段 7（Transformer）与阶段 4（计算机视觉）的基础，路线图见 ROADMAP.md；
2. 从 01 课 README 开始，按"ViT → CLIP → 桥接 → LLaVA 配方 → 统一模型 → 音视频 → 落地"的顺序推进；
3. 每课运行 code/main.py 观察输出（如 patch 网格、序列长度、损失曲线），再读 docs/zh.md 的完整讲解；
4. 想直接上手应用，可以跳到课 23–25，配合projects/doc-qa-with-citations/和projects/browser-agent/两个配套实战项目。

小结

多模态 AI 的演进可以用一条线串起来：token 化（ViT）→ 对齐（CLIP）→ 桥接（Q-Former/门控注意力）→ 简化（LLaVA 的 MLP 投影器）→ 统一（原生多模态与生成）→ 落地（Agent）。这 25 节课的最大价值不是背模型名，而是让你能预判下一个架构决策为什么发生——这正是多模态工程师和普通使用者的区别。

• 教程
• 人工智能
• 大模型