本文详细解析了构建ChatGPT式大模型的三步核心流程：预训练阶段通过海量互联网文本训练基础模型，预测下一个Token；监督微调阶段使用高质量对话数据集将基础模型转化为能对话的AI助手；强化学习阶段通过自主练习和探索提升模型复杂推理能力。文章还解释了模型幻觉、分词、推理等关键概念，帮助读者建立对大语言模型的全局理解，适合AI初学者入门学习。
本文主要根据我的赛博导师 Karpathy 的视频《Deep Dive into LLMs like ChatGPT》整理，非常适合刚入门 AI 的朋友建立关于大语言模型（Large Language Model，下文统称为 LLM）的全局观，对非技术的朋友也非常友好～
我刚学习 AI 的时候，有很多这样的问题：
- 经常听到的“调参”是什么意思？
- 为什么模型有时会一本正经地胡说八道？
- 推理模型真的会思考吗😧
- Tokenization、SFT、RLHF这些又是什么！
…
别急，希望看完本文（也强烈推荐看原视频哦），你会对以上问题有个清楚的答案！
Q：开发像 ChatGPT 这样的 LLM 一共需要多少步
A：只需要三步：预训练 、监督微调和强化学习（后训练 Post-training，指的就是后面两步）
不开玩笑，真要开始学了（
1. 预训练（Pre-training）
预训练是成本最贵、也最耗时的阶段，通过在海量互联网文本上训练模型来预测下一个词（Token），构建出一个基础模型（Base Model）。
1.1 数据收集与处理
如图，收集到的原始数据需要经过多步的过滤和清洗，以确保数据的质量、多样性：
- URL过滤：移除包含恶意软件、垃圾邮件等不良网站的 URL
- 文本提取：从原始 HTML 代码中提取正文内容，去除导航栏、广告、代码标记等无关信息
- 语言过滤：通过语言分类器筛选出特定语言的文本，这一步决定了模型未来的多语言能力
- 去重与PII移除：去除重复内容，并识别和删除个人身份信息（PII），如地址、号码等
1.2 分词（Tokenization）
分词过程是将原始文本转换为神经网络能处理的一维符号（Token）序列，也就是将人类的语言翻译成大模型的语言。
业界普遍使用字节对编码（Byte Pair Encoding, BPE）算法或其变体，可以将文本中连续的、高频出现的符号对合并成一个新的 Token，从而在压缩序列长度的同时，构建一个高效的词汇表。
如图，我们看到的是“Hello World!”，而大模型看到的实际是一串数字，比如下图中“19923, 4495, 3”。
诶，为什么这里用的是“比如”？因为每个模型的训练数据、算法和协议会有差异，所以同一段文本在不同模型中得到的分词序列（Token ID 序列）是不一样的。如图，“Hello World!”在 Qwen2.5-72B 模型看来就是“9707, 4337, 0”。
1.3 训练神经网络
训练神经网络的核心目标是预测序列中的下一个 Token。
在训练开始时，模型的参数是完全随机设定的。模型接收一段 Token 序列作为上下文，将序列输入到神经网络中，然后通过计算一个数学表达式，预测下一个 Token 的概率分布。
可以将模型理解为一个巨大的数学表达式，参考下图，会将 Token 输入和参数混合在一起，进行数学运算，然后预测概率。
因为模型是由输入的数据训练的，我们知道正确的下一个 Token 是什么。然后，模型就会计算预测概率与正确答案之间的差异（称为损失），通过不断调整参数（也称权重），让损失降低，也就是提高正确 Token 的预测概率。
训练的本质就是找到一组最优的参数设置，使得模型能够最好地拟合训练数据中的模式。可以将这个训练过程想象成操作 DJ 设备，你要不断调整设备上的旋钮，使得出来的效果刚刚好。
没错，模型名称中的数字代表的就是参数数量。比如下面这个模型，Qwen3-Next Instruct，80B（billions of parameters）指的是模型总共包含 800 亿个参数，A3B 代表只有 3B 参数被激活和使用。
这意味着每次生成 Token 时，实际参与计算的参数量会大幅减少，那么计算消耗的资源也会减少，也就是说，单位时间内可以处理更多的 Token 或用户请求。
1.4 推理（Inference）
训练完成后，模型参数会被固定下来，然后进入推理阶段，即生成新文本。
用户输入的文本（Prompt）作为初始上下文。模型基于这个上下文预测下一个 Token 的概率分布，然后从分布中随机采样（Sampling）一个 Token。这个新采样的 Token 会被添加到上下文末尾，成为下一次预测的新输入。如此循环，模型便逐个 Token 地生成了完整的回答。
注意这里的关键词：随机，这也就解释了为什么即使输入相同，模型每次也会生成不同的的答案。
另外，概率高的 Token 更可能被选中，但不是唯一的可能。在实际应用中，Temperature（温度）是控制概率分布“尖锐”程度的参数。低 Temperature 意味着概率分布更尖锐 = 出现概率高的 Token 被选中的可能性更大 = 生成的文本更具确定性。
小结
预训练阶段的最终产物被称为基础模型，相当于一个互联网文档模拟器（internet document simulator），能够生成类似输入数据的文字，但不具备对话能力，无法理解指令或问题。
模型通过参数来存储从海量互联网数据中学习到的信息，这些知识就像是对预训练数据的一种有损压缩（lossy compression），类似我们模糊的记忆（你就说记没记）。
另外，模型在推理时可以访问的上下文窗口，就像人类的工作记忆，容量有限但记忆更准确。
2. 监督微调（Supervised Fine-Tuning, SFT）
这个阶段的目标是将基础模型训练为一个能对话的AI 助手（Assistant）。
如图，监督微调会用一个全新的、高质量的对话数据集替换掉预训练时的互联网文本，并继续在基础模型上进行训练。
这个阶段的数据来源以下三个方面：
- 人工标注：标注员根据详细的标注指南（例如，要求回答做到“有用、真实、无害”）来编写各种各样的问题（Prompt）以及参考回答
- 专家参与：请专业领域（如编程、法律）的专家进行标注，以确保数据质量
- 合成数据：大量使用 LLM 来辅助生成对话数据，再人工编辑、筛选，以扩大数据集规模和多样性
为了让模型理解对话结构，还需要引入特殊的控制 Token（如[ASSISTANT]或im_start等），将多轮对话编码成单一的 Token 序列。
监督微调的本质是通过在这些“参考对话”上训练，让模型学会模仿回答。这就可以解释模型为什么会编造答案了。另外，我们常说的模型性格也是在这个阶段训练形成的。
那么，如何减少模型幻觉呢？
- 测试模型知识的边界，并在其知识盲区，向训练数据中添加如“对不起，我不知道”作为正确回答范例
- 让模型使用工具！比如通过上网搜索或写代码解决问题
3. 强化学习（Reinforcement Learning, RL）
强化学习的目标是让模型通过自主练习和探索（试错），发现最能稳定解决问题的路径。这个阶段能进一步提升模型能力，尤其是复杂推理能力。
3.1 可验证领域的 RL
在数学、编程等有明确正确答案的领域，RL 的应用流程如下：
- 生成多种解决方案 (Rollouts)：针对一个问题，让模型生成上千种不同的解决过程
- 自动评分：用一个程序或另一个 LLM 作为裁判，判断每个解题过程是否得出了正确答案
- 强化训练：只在那些成功得出正确答案的序列上进行训练，这会“奖励”并强化模型学会正确解法
在 RL 阶段，模型会自发地学到一些复杂的认知策略，而不是被规定的，比如：
- 自我反思：“等等，让我重新检查一下这一步”
- 多角度验证：“我用另一种方法（比如建立方程）再算一遍，看看结果是否一致”
- 回溯修正：发现错误后返回并修正
经过这种训练的模型被称为“推理模型”或“思考模型”（Thinking Mode）。这种模型的回答一般更长，且会包含内部的思考过程，也能更准确地解决复杂问题。
- 模型需要 Token 来思考
模型生成的每一个 Token 都需要一次计算，但计算量是有限的。所以，为了解决复杂问题，模型必须学习将推理和计算分散到多个 Token 序列中，也就是生成中间步骤。
如下图，不推荐在一开始就给出答案，逐步推理得出答案的准确性会更高。
（感觉这也是一种“大力出奇迹”，比如 Claude Code 中用 Ultra Think 模式的效果会更好，因为很舍得花 token😂）
3.2 不可验证领域的 RL：RLHF
对于写作这类没有正确答案的领域，无法自动评分，于是有了基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）。
核心思想：训练一个“裁判”
- 让模型针对一个创意性问题生成多个不同的回答
- 请标注员对这些回答进行排序（从最好到最差）
- 训练一个独立的神经网络，称为奖励模型 (Reward Model)，让它学习模仿人类的偏好和排序
- 用这个奖励模型作为自动“裁判”，对 LLM 生成的大量回答进行打分，并据此进行强化学习
- 优点：让 RL 也能处理主观评价问题。对人类来说，给几个答案排序，比亲自写一个完美答案要容易很多，这大大降低了人工标注的成本
- 缺点：奖励模型本质上只是对人类偏好的一个粗略模拟，而且容易被钻空子。RL 过程特别擅长找到奖励模型的漏洞，然后产生一些毫无意义、但能骗取高分的答案。所以，RLHF 只能作为有限的微调方法，不能持续提升模型能力
总结
说了这么多，不知道有没有似曾相识的感觉，搭建 LLM 和学生时代的学习过程不是一样吗！
首先要通读教材（预训练），理解所有内容，打好基础。
然后看例题（监督微调），通过参考标准答案学习解题思路。
最后是刷题（强化学习），只知道题目和结果，要反复尝试后得出正确的方法。
区别可能是你每次只能学一个章节，但是 LLM 能学习海量数据。
LLM 现在的能力就像这个奶酪，看着没啥问题，但会有些随机的小坑，比如经典的错判“9.11 比 9.9 大”。因为模型的世界是由 Token 构成的（就是一堆数字），而不是我们看到的字符，所以模型在处理字符、计数、拼写相关任务时表现会不大好。
这里要注意，不能完全照搬大模型的回答，要保持判断，对自己交付的内容负责（bhys有点说教了，但真的是血泪教训😭）。
最后，Karpathy 还提到了未来发展方向（25年初的视频，预测好准！25年就是 Agent 之年！），和推荐的资源（详看参考资料）：
- 多模态（Multimodality）：模型将原生支持文本、图像、音频的输入和输出，实现更自然的交互
- 智能体（Agents）：模型将能执行更长期、多步骤的任务，从简单的问答工具演变为工作助手（比如 Manus！）
- 普适化与隐形化（Pervasive & Invisible）：LLM 将深度集成到操作系统和各种应用中，成为无处不在的后台能力（参考豆包手机助手）
- 计算机使用（Computer-Using）：模型将能代表用户在浏览器或应用程序中执行复杂的任务和操作（比如 ChatGPT Operator）
- 测试时训练（Test-time Training）：探索让模型在推理过程中也能持续学习和更新参数的方法，而不再是“一次训练，永久固定”
最后的最后，还想再分享一下，很喜欢韦青老师在播客中提到的一点：在中文环境中，把 large language model 翻译成大语言模型是一个很大的误导。这一轮的大模型学的是文字，所以 LLM 实际上是大文字模型。中文是象形文字，文字只是语言的一部分，还有很多隐性的知识，比如声音、表情，是大模型还不能理解的。
最后
我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。
我整理出这套 AI 大模型突围资料包：
- ✅AI大模型学习路线图
- ✅Agent行业报告
- ✅100集大模型视频教程
- ✅大模型书籍PDF
- ✅DeepSeek教程
- ✅AI产品经理入门资料
完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
为什么说现在普通人就业/升职加薪的首选是AI大模型？
人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。
智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200%，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。
AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。
资料包有什么？
①从入门到精通的全套视频教程⑤⑥
包含提示词工程、RAG、Agent等技术点
② AI大模型学习路线图（还有视频解说）
全过程AI大模型学习路线
③学习电子书籍和技术文档
市面上的大模型书籍确实太多了，这些是我精选出来的
④各大厂大模型面试题目详解
⑤ 这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势，构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**
