零基础学大模型：从Transformer到RAG的核心知识框架

每次有人问我“零基础怎么学大模型”，我都想先反问一句：你说的零基础，是零编程基础，还是零机器学习基础？这两个问题的答案不同，学习的路径完全不同。但不管哪种情况，市面上大部分资料都默认你懂Python、懂神经网络、懂损失函数，结果很多想入门的人被第一页的公式劝退。

这篇内容就是冲着“零基础”三个字来的。我会把大模型技术里最核心的考点拆开讲透：底层靠什么机制工作、训练和推理的区别、应用层到底有哪几条主流路线、以及备考时最常见的误区。不铺垫太多数学推导，但该有的概念一个不少。适合完全没接触过大模型、想系统建立知识框架的人，也适合准备相关考核、需要快速梳理考点的学习者。

1. 零基础学大模型，先搞懂这张知识地图

1.1 这门课的考点不是“背名词”，而是理解三条主线

很多人拿到大模型相关的考点清单，第一反应是“名词太多了”：Transformer、注意力机制、Token、上下文窗口、预训练、微调、RAG、Agent……每个词都认识，连起来就不知道在说什么。这是正常的，因为大模型技术本来就不是一堆孤立名词的集合，而是由三条主线串起来的完整体系。

第一条主线是“模型怎么来的”：数据经过清洗、分词、预训练，得到一个大模型的权重文件。第二条主线是“模型怎么用的”：我们输入一句话，模型经过推理过程返回结果，这个过程涉及上下文窗口、采样参数、提示词设计。第三条主线是“模型怎么改的”：当通用能力不够用，就要通过提示工程、检索增强、参数微调等方式把它改造成适合具体场景的工具。

考试也好、实际项目也好，真正要考察的能力不是你能背出某个术语的定义，而是给你一个场景，你能不能判断“这个问题属于哪条主线、该用哪条主线里的什么技术”。知识地图的作用，就是帮你先把这三条主线的位置标清楚，后面所有细节都挂在这三根柱子上。

1.2 从一条用户请求看考点如何串联

我上课时最喜欢用一个例子来串联所有考点：假设用户在聊天框里输入“帮我总结这份合同的风险条款”，背后发生了什么？

第一步，文本会被拆成Token——也就是模型能处理的最小单位，可能是一个字、一个词，也可能是一个标点。Tokenize之后，每个Token都会通过词嵌入被映射成向量，进入模型网络。第二步，模型基于预训练阶段学到的统计规律，对当前上下文进行逐Token预测：下一个最可能是哪个Token。第三步，生成过程中会受解码策略影响，比如温度、Top-P采样，决定输出更有创造性还是更稳定。第四步，如果这个模型接入了知识库检索或者某个业务系统，它还会先去查资料、调接口，再组织答案。

这一条链路，几乎串起了所有核心考点：Token与分词、嵌入与向量化、注意力机制、预训练与推理、解码策略、RAG、提示词设计。零基础学习者最需要做的第一步，不是去啃论文，而是让自己能在纸上画出这条链路，每个环节能说出“它解决什么问题”。有了这张图，接下来每个知识点都会各归其位。

1.3 零基础最省力的学习顺序

我给零基础学习者的建议是：先学应用，再学原理，最后补训练细节。这个顺序和很多人想的相反，但非常有效。先学会用提示词调用一个现成模型，理解“什么输入产生什么输出”，建立起直觉；然后去拆Transformer架构，理解为什么模型能生成合理文本；最后才去接触训练数据配比、分布式训练、评估指标这些偏工程的内容。

这样安排有一个现实原因：训练一个大模型需要的数据、算力和工程能力，绝大多数学习者并不具备，但推理和应用是人人可上手验证的。先做能做的，再理解原理，遇到问题时回头看理论，效率会高很多。

2. 第一层地基：从词向量到Transformer，把“文字变数字”讲透

2.1 词向量：为什么深度学习模型只认数字

零基础最容易卡住的第一个点就是：文本怎么喂给模型？本质上，所有深度学习模型处理的数据都是数值矩阵，文字本身没法直接计算。所以需要一个桥：把每个Token映射成一组数字。这组数字就是“词向量（Embedding）”。

拿“苹果”这个词举例。在词向量空间里，它可能对应一个几百维甚至几千维的向量，比如[0.12, -0.45, 0.89, ...]。这个向量不是随便生成的，它的数值分布在训练中被调整，使得语义相近的词，向量距离也近。“苹果”和“香蕉”的向量距离会比较近，但和“汽车”的距离就很远。更进一步，通过向量加减还能做一些很巧妙的运算，“国王”的向量减去“男人”的向量，加上“女人”的向量，结果会接近“女王”。这就是“语义被数值化”之后的威力。

了解词向量，不需要会推导它的训练过程，但必须理解两个结论：第一，模型本质上是在做向量空间里的运算，它能“理解”语义只是因为向量空间编码了语义关系；第二，文本进入模型前，必须经过分词、映射向量两步预处理。这两点几乎在所有考试里都会以不同形式出现。

2.2 注意力机制：让模型学会“哪些信息值得多看两眼”

大模型时代最核心的机制，就是Transformer架构里的“自注意力（Self-Attention）”。你不需要会手推公式，但你要理解它解决了一个什么问题：在处理一个词时，模型要如何得知上下文里哪些词和它相关，以及相关的程度有多大。

可以打个比方。你在一家餐厅点菜，菜单上的每道菜你都会扫一眼，但你的注意力主要集中在“合自己口味的”“朋友推荐过的”“价格合适的”这几项上，其他菜只是扫过而已。模型处理“我在北京上大学，所以我很喜欢这座城市”这句话时，处理“这座城市”这个Token，会通过注意力机制发现“北京”和它关系最大，因此会给“北京”的向量更高的权重，把它融入“这座城市”的语义表示。这就是“上下文感知”的底层原理。

更关键的考点是，注意力计算使用了“查询（Query）、键（Key）、值（Value）”三件套。你可以把查询理解成“我想找什么”，键理解成“我有什么标签”，值理解成“我实际提供的信息”。模型拿每个Token的查询去和所有Token的键做匹配，得到注意力分数，再用这个分数加权求和所有的值。这个过程让序列中任意两个Token之间都能直接互相“看到”，也就是所谓的全局依赖建模能力。

2.3 Transformer整体结构：编码器、解码器到底在做什么

很多资料讲到Transformer就会画一张很复杂的网络图，从多头注意力到残差连接到层归一化，看着就头痛。零基础阶段，这张图可以简化为几个模块来理解。

Transformer的原始结构分两部分：编码器负责“读”，解码器负责“写”。编码器把整个输入序列编码成语义丰富的向量序列，解码器再根据这些向量，逐词生成输出序列。自回归生成的大模型（GPT系列及其开源的众多模型）属于“只有解码器”的变体，它的工作方式是：输入前文，预测下一个Token，然后把新Token拼进输入，再预测下一个，循环往复。

在考点层面，你需要记住几个细节。第一个是“位置编码”：注意力机制本身不关心词的先后顺序，所以必须额外注入位置信息。第二个是“多头注意力”：把一次注意力计算拆成多组并行进行，相当于让模型从多个角度同时看输入。第三个是“残差连接”：让深层网络的梯度更容易传播，这也是大模型能堆到几十层上百层的工程基础。

看到这里，你已经有能力回答一个高频简答题：“为什么Transformer比循环神经网络更适合做大规模语言建模？”核心答案就两点：一是可以并行处理整个序列，训练效率高；二是长距离依赖建模能力强，不会随着句子变长而严重丢失早期信息。

3. 预训练与微调：大模型“会说话”的两个关键阶段

3.1 预训练的目标：猜词、补全文本与海量语料

“预训练（Pre-training）”这个词，零基础理解起来其实不复杂：用海量文本，让模型学会“接话”。具体做法是，把一段文本遮住一部分内容，让模型根据上下文去预测被遮住的内容；或者更直接地，给模型一段前文，让它预测下一个Token是什么。预测错了就更新模型参数，预测对了就保持。这个过程不断重复，模型逐渐掌握了词汇、语法、常识、逻辑推理等大量知识。

这里有一个很多零基础学习者忽略的重点：预训练阶段喂给模型的是“通用文本”，包括网页、书籍、问答、代码等。数据量动辄数万亿Token。模型在这个阶段学到的是“世界知识”和“语言能力”，但它还不能很好地“听指令”——你问它的问题，它可能回复得很奇怪，因为它只学会了接话，没学会回答问题。这也就是后面要讲对齐和微调的原因。

关于预训练数据，还有两个考点值得注意。一是数据质量比数据量重要，低质量文本学多了反而会让模型输出混乱；二是数据配比会影响模型能力偏向，比如代码数据占比高的模型，在编程任务上通常更强。这些细节在只记名词的复习方式里很难体现，但在真正的应用场景中却非常关键。

3.2 微调阶段：从“通才”到“专才”

预训练产生的模型，可以理解成一名“什么都略懂”的通才。你说什么他都能接两句，但你要他做某个特定任务、按特定格式输出，他往往做不到。微调就是在这个通用模型的基础上，用特定领域的“任务数据”继续训练，让模型更适应某个方向。

举个例子。预训练模型能写新闻，但如果你需要它按你公司的模板生成“项目周报”，格式是固定的、语气是固定的、内容结构是固定的，直接靠提示词往往不够稳定。这时可以搜集一批“历史周报”作为训练样本，做一次有监督微调，让模型学会这个特定任务的输出风格。这就是考试里常说的“从通才到专才”。

微调还会涉及一个概念：冻结参数与全量微调。早期做法是让所有参数都参与训练，成本高；现在流行的做法是“参数高效微调”，比如只训练很小一部分新增参数，就能达到接近全量微调的效果。代表方向包括LoRA、P-Tuning这类技术，你需要知道它们的存在和基本思想：在原始权重旁边加一个小规模的可训练旁路，训练完只保存这个小分支即可，部署时再把分支合并回去。

3.3 指令微调与人类反馈对齐，考点的最后一块拼图

很多人分不清“预训练”“指令微调”“人类反馈强化学习”这三者的区别，这是考试里的高频混淆点。

预训练解决的是“模型会不会说话”，它只学了文字接龙。指令微调解决的是“模型听不听话”，用大量“用户指令+理想回答”的配对数据训练模型，让模型学会按指令输出。人类反馈强化学习（RLHF）解决的是“模型有没有分寸”，通过人类对不同回答的偏好排序，训练一个奖励模型，再让语言模型通过强化学习去对齐人类的偏好——比如“被拒绝时要礼貌”“不要输出有害内容”。

这三者的关系是一个递进链：预训练提供能力基础，指令微调让模型可用，对齐让模型可靠。零基础备考时，可以用“会说话、会听话、有分寸”三个词快速记住它们。市面上主流对话模型的能力，都是经过这条完整链路打磨出来的。

4. 应用层面三条主流路线：提示工程、RAG与微调的选型逻辑

4.1 提示工程：最轻量的应用方式，适合理解题也适合试探题

大模型应用落地，最轻量的一条路就是提示工程（Prompt Engineering）。不修改任何模型参数，只通过设计输入文本，让模型输出你想要的结果。提示词里可以包含任务描述、背景信息、输出格式要求、示例等。

一个高质量的提示词，往往比一个复杂的系统效果还好。拿“帮我写一封邮件”这个任务来说，低质量提示词是：“写封邮件。”模型会给你一封通用到可以发给任何人的邮件。高质量提示词会写明：收件人是谁、双方关系、邮件目的、期望的语气、是否需要附件说明、有没有需要强调的重点。模型输出的质量会明显提升。

提示工程的考点主要集中在几类技巧上：角色设定（“你是一名资深律师”）、思维链（“请一步一步思考”）、少样本示例（“这是两个输入输出的例子，请按同样格式输出第三个”）。零基础学习者一定要动手试这些技巧，因为提示词的效果只有在真实模型上才能感受到，看一百遍案例不如自己调十次。

4.2 检索增强生成：解决知识更新与幻觉问题

提示工程不修改模型，RAG（Retrieval-Augmented Generation，检索增强生成）本质上也属于轻量应用路线，但它在“提示词”之外多了一个关键组件：外部知识检索。

大模型有两个先天问题：一是知识有截止日期，没训练过的新信息它不知道；二是它可能一本正经地编造答案，也就是“幻觉”。RAG的思路很直接：在模型生成答案之前，先从外部数据库里检索相关文档，把检索到的内容拼进上下文，再让模型基于这段上下文生成回答。

我见过一个很典型的场景：企业做一个内部规章制度问答系统，大模型本身根本没训练过这些内部文件内容，直接问会得到一堆胡编乱造的回答。接上RAG之后，系统先去文档库里搜索相关条款，然后把条款原文提供给模型，模型再组织语言输出。答案不仅准确率大幅提升，还能在回复中标明引用来源，方便人工核验。

RAG的考点非常集中：文档切分策略、向量化存储、召回质量评估、以及“检索+生成”的流程设计。文档切得太大，检索就不精准；切得太碎，上下文又不够完整。这个度需要实际项目里反复调。

4.3 微调落地：什么时候必须动模型参数

和提示工程、RAG相比，微调是成本更高的一条路线，但有些场景绕不开。什么时候必须微调？我总结出三类典型情况。

第一类，输出格式强约束。比如要求模型必须输出某套固定的JSON结构、必须遵循某个规范模板，提示词怎么调都不稳定，那就收集一批标准样例做微调。第二类，领域知识密度高。虽然可以用RAG补知识，但如果模型在某个垂直领域的术语理解、专业判断长期不达标，微调能把模型“调教”成该领域的专家形态。第三类，需要模仿特定的语言风格或角色特点，比如客服话术、作家文风，这些强风格任务微调的效果通常比提示词更自然。

但我也想说一句大实话：能用提示工程和RAG解决的需求，尽量不要一上来就微调。微调需要整理高质量数据集、需要微调训练环境、需要风险评估，整体周期和成本比前两条路高得多。选型的顺序应该是：先提示工程，再RAG，最后才是微调。

4.4 三种路线怎么选，一张表看懂

这张表也是应用层面最常考的选型分析题答题框架。考试给一个场景，你先判断属于哪类问题，再按这个框架展开论述，基本就能拿住重点。

5. 训练与推理的关键考点：数据、算力、评估与部署

5.1 数据工程：质量、去重与配比，比想象中更重要

很多零基础学习者以为训练大模型就是把网上能爬到的文本都下载下来一股脑喂进去。真实情况远不是这样。数据工程是大模型训练里最耗时、最影响效果的环节之一，没有高质量数据，再强的算力也白搭。

一个完整的训练数据流水线至少包含采集、清洗、去重、过滤、配比这几步。采集阶段需要考虑数据来源多样性，不能只来自某一类网站；清洗阶段要去掉乱码、敏感信息、无意义文本；去重阶段尤其重要，重复文本会让训练效率下降，严重的还会导致模型在某些内容上过拟合。过滤阶段则要把低质量内容剔除。

最后一个考点是数据配比。同一个Token在不同的语义场景里重要程度不同，如果整个训练语料里代码占比较高，模型写代码能力强，但对话的自然度可能受影响；如果全是中文语料，英文能力就会偏弱。所以训练团队会像配菜一样精细设计各类数据的比例，这也是为什么很多开源模型发布时会专门说明训练数据构成。

5.2 训练阶段的四个高频概念：学习率、批次、吞吐量与损失值

训练相关考点里，零基础需要重点理解四个概念。

学习率（Learning Rate）控制模型参数每次更新的步子大小。步子太大，参数在最优解附近来回震荡甚至发散；步子太小，训练速度慢，还容易陷入局部最优。实际训练中常用“预热+衰减”的策略：先小步走一段时间，再正常走，后期再逐步缩小步伐。批次大小（Batch Size）指每次更新参数时使用的样本数量，它影响训练速度和模型稳定性，还和显存直接相关。吞吐量衡量每秒能处理的Token数量，是评估训练效率的核心指标。损失值则直接反映预测结果和真实文本之间的差距，训练过程中观察损失曲线是否稳定下降，是工程师判断训练是否正常的重要手段。

这四点不需要会自己训练大模型才能理解，但在选型、调优和面试交流中经常被问到。建议动手做一次小规模训练实验，哪怕用一个特别小的模型在自己的笔记本上跑几百步，也能建立远比文字描述更扎实的直觉。

5.3 推理阶段的效率问题：显存、量化与批处理

模型训练完成后，部署上线跑推理，这是另一个考点块。推理和训练有几处明显不同：训练是迭代更新参数，推理是固定参数做前向计算；训练追求吞吐量，推理追求响应速度和并发能力。

推理阶段最大的现实瓶颈是显存。一个大模型光参数就占很大空间，比如一个70B参数的模型，按16位精度存储，光参数就要占用约140GB显存，这已经不是单张显卡能搞定的范围。因此工业界有大量优化手段：量化（把参数从16位压到8位甚至4位，用精度换显存和速度）、批处理（多个用户请求合并成一批同时计算）、以及流式输出（逐Token返回结果而不是等全部生成完再返回）。

零基础在这部分不需要背清楚所有优化算法名，但要能说出核心逻辑：大模型部署的核心矛盾是“模型太大、算力太贵、延迟要低”，一切优化手段都在围绕这三点做取舍。

5.4 评估模型：PPL之外，更要看真实任务效果

模型训练完，效果怎么量化？考点里常出现两个维度的评估。一个是“困惑度（Perplexity）”，它衡量模型对文本预测的置信程度，数值越低说明模型对语料的拟合程度越高。另一个是任务级评估，比如对话质量、摘要质量、代码正确率等。

但说实话，困惑度下降并不等于用户觉得好用。一个模型可能在某个领域的PPL很低，但回答内容有“AI味”很重、或者格式混乱。所以现在工业界越来越依赖真实任务评估和人工反馈：找一批评测题、请一批评测人员按标准打分，再结合自动指标一起判断模型是否可上线。

这块考点尤其容易出现在案例分析题里：给你一个模型迭代前后的评测报告，让你对比优劣，然后说明为什么某一项指标上升但业务方仍不满意。答案通常要落到“自动指标与人工体验的差异”上。

6. 零基础备考最容易踩的五个坑与应对办法

6.1 只背概念不画链路

第一个坑是“背名词解释背得很熟，一到综合题就懵”。应对办法很简单：每次学完一个新概念，别急着往下学，先把它挂到第1节那张“请求链路图”上，边学边补充细节。当你能对着白板从头画到尾，从分词到向量化到注意力计算到推理生成到应用优化，说明整个体系已经成了你自己的框架，而不是一堆碎片记忆。

6.2 把“能用提示词”当成“理解了原理”

第二个坑是只用模型对话水平来检验学习效果。零基础学习者很容易产生一种错觉：我发现同样的提示词加几个字结果差别很大，是不是就代表我理解了大模型？其实这只是理解了“输入输出现象”，并不等于理解了背后的机制。真正检验理解程度的方法是“变形考法”：放弃你熟悉的提示词场景，试着向自己解释“为什么它对这个词敏感，而对那个词不敏感”。解释不出来，就要回到注意力机制和Token化的知识点上。

6.3 不懂数学却硬啃推导

第三个坑反过来，信奉“只有推公式才算学会”。对零基础来说，刚开始就啃《Attention Is All You Need》原文的矩阵推导，很容易把自己劝退。我的建议是：第一轮学习完全避开推导，只抓输入输出和行为直觉。第二轮遇到具体问题再回头补数学。比如你想理解“为什么除以温度可以提高采样多样性”时，再去看softmax的公式不迟。带着问题学数学，比从头系统学数学效率高出数倍。

6.4 不动手实验，纸上谈兵

第四个坑是只看资料不操作。大模型是一个实践性极强的领域，你至少要做两件事：第一，找一款可调用的大模型接口或本地部署一个开源小模型，亲手跑几十条提示词，观察温度、Top-P对输出的影响；第二，动手搭一次最小的RAG流程，没有条件就用本地文档库加向量数据库完成一次检索问答实验。这会让很多概念从“文字描述”变成“肌肉记忆”。

6.5 只用一个信源，被单一叙述带偏

第五个坑是只看某一套教程、某一篇综述，容易把其中带有作者个人风格的说法当成唯一标准。大模型技术更新太快，不同材料对同一概念的侧重点差异很大。我的建议是：每个核心概念至少找三个来源交叉验证。比如看“指令微调”，先看百科式解释，再看一篇技术博客的实操说明，最后到模型卡文档里看官方是怎么定义的。三个来源对照之后，这个概念基本就跑不掉了。

我自己带过很多零基础的学习者，发现一个共同规律：能在较短时间内把大模型知识框架搭起来的人，都不是记忆力最强的，而是动手习惯最好的。他们每学一个概念，都会立刻找一段真实场景试一遍，试的过程中产生疑问，再带着疑问去看理论。这个循环一旦转起来，所谓的“零基础”其实用不了太久就不再是零基础了。

最后分享一个很实用的小习惯：给自己准备一个问题清单，把学习过程中所有“不懂的地方”随手记下来。每周挑一个不懂的问题，专门花半小时去搞懂它。坚持两个月，你再看最初的考点清单，会发现那些曾让你头疼的术语，已经在不知不觉中变成了你解释其他问题时的工具。