我愿称之为26年最详细的大模型学习路线!

从0到1！大模型(LLM)最全学习路线图，建议收藏！

想入门大模型(LLM)却不知道从哪开始? 我根据最新的技术栈和我自己的经历&理解，帮大家整理了一份LLM学习路线图，涵盖从理论基础到落地应用的全流程!拒绝焦虑，按图索骥~~

阶段一:前置知识

• 编程基础:Python熟练掌握。
• 深度学习框架:PyTorch(目前学术界和工业界的主流)。
• 数学基础:线性代数、概率论、微积分(理解梯度下降、矩阵运算)。

阶段二:核心原理

• 卷积神经网络CNN

卷积核、特征提取、感受野、残差、池化、隐藏层、神经元

• 循环神经网络 RNN

循环结构、时间步、激活函数、门控单元(GRU)，长短期神经网络(LSTM)

• ！！Transformer(重中之重):

self-Attention机制、多头注意力(MHA、MQA、GQA)、掩码自注意力、交叉注意力(cross attention)、位置编码(Embedding)、前馈网络(FFN)、残差连接、层归一化(Batch Norm、Layer Norm、RMSNorm)。

• 主流架构:

Encoder-only:BERT(懂理解)

Decoder-only:GPT系列(懂生成，现在的主流)

Encoder-Decoder:T5

• **经典必读:**论文<>、李沐<<动手学深度学习>>

阶段三:预训练(Pre-training)

1.海量数据工程:

TB级数据的清洗、去重(Dedup)、质量筛选、数据配比(Data Mixture)。

2.分词技术(Tokenization):

• **核心算法：**BPE(Byte-Pair Encoding)、BBPE (Byte-Level BPE)、Unigram.

• **关键点：**词表大小(Vocab Size)的权衡、Special Token的设计、Merge的高效化,Chunking的准确高效，以及多语言支持难点。

3.模型架构细节(Model Architecture)

• **位置编码:**RoPE(旋转位置编码)是目前的绝对主流(Llama标配)。

• **注意力机制:**GQA(分组查询注意力)，在训练速度和推理显存之间找平衡。

• **归一化:**RMSNorm(Pre-norm)，比 LayerNorm更稳更收敛。

4.分布式训练与加速(Distributed Training)

• 3D 并行(3D Parallelism):

**数据并行(DP)😗*配合ZeRO(1/2/3)切分优化器状态、梯度和参数，显存 救星。

**张量并行(TP)😗*单层切分，通常用于节点内(Intra-node)。

**流水线并行(PP)😗*层间切分，用于跨节点(Inter-node)。

• **算子优化:**FlashAttention-2/3(必学!I0感知优化，极大提升 Attention 计算速度)。

• **训练稳定性及优化器:**学习率预热(Warm-up)、Cosine衰减、梯度裁剪(Gradient Clipping)、LossSpike(损失刺像)、KL散度、混合精度(BF16/FP16)、Checkpoint、Adam/AdamW

阶段四:后训练(Post-training)

1.监督微调(SFT)

指令构建:构造高质量的 Instruction-Input-Output数据对。

.全量微调:算力允许下的全参数更新，效果最好。

2.参数高效微调(PEFT)

.LoRA/QLoRA:目前最主流方案!通过低秩矩阵适配，极低显存实现微调，消费级显卡即可实现~

Adapter Tuning:层间插入小网络。

.P-Tuning / Prefix-Tuning:优化输入端的提示向量(Soft Prompt).

3.对齐学习(Alignment)

奖励模型(Reward Model):训练一个"判卷老师"，给模型的回答打分。

RLHF(强化学习):经典的 PPO 算法(ChatGPT同款)、

阶段五:应用开发(RAG & Agent)

1.RAG(检索增强生成)

数据索引(Indexing):

。**进阶切分(Chunking)😗*不能傻切，要懂语义切分、重叠切分。

。**向量化(Embedding)😗*把文字变成向量,存入Milvus/Faiss/Chroma。

**检索优化(Retrieval)😗*这里是提升准确率的关键!

。Top-K检索

。**混合检索(Hybrid Search)😗*关键词检索(BM25)+语义向量检索,互补优缺点。

。**重排序(Rerank)😗*用高精度的Rerank模型对初步检索回来的内容进行二次精排(必做!)。生成增强(Generation):

。**Prompt 构造:**动态填槽，将检索到的上下文完美拼接到提示词中。

2.Agent(智能体)，这块可以看我发的hello-agents开源项目的帖子

核心架构(ReAct):

。**规划(Planning)😗*思维链(CoT)，把大任务拆解成小步骤。

。**记忆(Memory)😗*短期记忆(上下文)+长期记忆(向量库)。

。**行动(Action)😗*工具调用(Function Calling)，让模型学会用搜索工具、计算器、API。

**五种设计范式：**ReAct, Plan and Solve,Reflection,Tool Use,Multi-Agent

开发框架:LangChain,AutoGen, LlamaIndex, AutoGPT.

3.MCP(前沿协议)

**模型上下文协议:**Anthropic提出的新标准，统一了AI连接数据源的方式(Client-Host-Server模式)，未来大趋势。

**优势:**只需开发一个符合 MCP标准的Server,所有支持MCP的客户端(如 Claude Desktop,Cursor,Zed)都能直接即插即用。

架构三要素:

。MCP Host:运行环境。

。MCPClient:AI应用程序(大模型入口)。

。MCP Server:数据源或工具的桥梁(这一层是开发者主要工作的领域)。

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈