万字长文拆解ChatGPT工作原理：从token到概率分布的实战笔记

简介：这份PDF资料面向希望系统理解ChatGPT底层机制的技术读者与AI入门学习者，围绕Transformer架构、注意力机制、预训练与微调等核心概念展开，帮助读者厘清聊天机器人从文本向量化到连贯对话生成的完整逻辑，适合作为人工智能方向的原理科普与知识梳理材料。资源包内共1个PDF文件，压缩包约11.68MB，内容以图文讲解为主，便于在电脑或平板上直接阅读。目前已有373人学习浏览，具备一定的参考热度。资料从编码器与解码器的协同工作切入，讲解单词如何被编码为携带语义的向量序列，并进一步说明网络如何通过参数优化提升语言理解与生成能力；同时结合预训练与微调两个阶段，阐释模型如何习得通用语言模式并适配具体对话场景。文中还涉及对话连续性、上下文一致性以及模型局限性等实际话题，能帮助读者建立对ChatGPT工作原理的整体认知框架，为后续深入学习自然语言处理打下基础。

1. 万字长文拆解 ChatGPT 工作原理：从 token 到概率分布，一份能照着推演的实战笔记

很多人第一次接触大模型，都是从一句“帮我写个东西”开始的，结果要么被它一本正经的胡说八道带偏，要么调了半天参数还是得不到想要的输出。这份万字干货资料把 ChatGPT 的工作原理拆成了可推演的链条：文本怎么变成 token、注意力机制怎么分配权重、预训练和微调各自解决什么问题、temperature 这类参数到底在改什么。它适合两类人：一类是想搞清楚“黑匣子”里到底发生了什么的新手，另一类是要在业务里调 prompt、调参数、做效果排查的从业者。下面我按自己拆项目的习惯，把这份资料里的关键环节重新走一遍，能复现的地方给步骤，容易翻车的地方标出来。

2. 从文本到向量：token 化与嵌入层到底做了什么

2.1 为什么模型看到的不是“字”而是 token

ChatGPT 处理输入的第一步不是理解句子，而是把文本切成 token。资料里反复强调的一点是：模型眼里没有“词”这个概念，只有 token 序列。一个中文字、一个英文单词、一个标点，都可能对应一个或多个 token。常见做法是用 BPE（Byte Pair Encoding）这类子词切分算法，把高频片段合并成单个 token，低频词拆成更小的片段。这样做的直接好处是词表规模可控，同时能处理没见过的词——比如一个生僻的英文单词会被拆成几个常见子串，模型仍然能编码它。

这里有个容易被忽略的边界：token 数不等于字数。中文场景下，一个汉字经常对应 1 到 2 个 token，英文一个单词可能对应 1 到 3 个 token。你在调接口时看到的“上下文长度限制”，单位是 token 而不是字符。我一般会在正式跑之前先用分词工具数一遍，避免 prompt 拼到一半超限。

2.2 嵌入层：把 token 变成能计算的向量

token 化之后，每个 token 会被映射成一个固定维度的向量，这就是嵌入（embedding）。资料里提到“将每一个单词编码成向量表示”，这句话背后的关键是：向量之间的几何关系承载了语义关系。语义相近的 token，其向量在空间里的距离通常更近。嵌入矩阵是模型参数的一部分，训练过程中会不断调整。

下面这段代码用常见做法演示一遍“分词 → 查嵌入 → 看相似度”的流程，帮助建立直觉。实际模型权重很大，这里用小规模示意，逻辑是一样的。

# 示意：token 化与嵌入相似度的最小复现 # 依赖：transformers、torch（常见做法，版本以本地环境为准） from transformers import AutoTokenizer, AutoModel import torch model_name = "bert-base-chinese" # 仅作分词与嵌入示意，非 ChatGPT 权重 tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModel.from_pretrained(model_name) texts = ["猫", "狗", "汽车"] inputs = tokenizer(texts, return_tensors="pt", padding=True) with torch.no_grad(): outputs = model(**inputs) # 取 [CLS] 位置的向量作为句子级表示 emb = outputs.last_hidden_state[:, 0, :] # 计算余弦相似度 norm = emb / emb.norm(dim=1, keepdim=True) sim = norm @ norm.T print(sim)

这段代码的逻辑分三步：分词器把文本转成 token id；模型前向计算得到每个位置的隐藏状态；取句首向量算余弦相似度。参数上要注意padding=True是为了让不同长度的输入对齐成矩阵，last_hidden_state[:, 0, :]取的是第一个 token 的表示，这是 BERT 类模型的常见约定。换成生成式模型时，取的是最后一个 token 的隐藏状态去预测下一个 token，位置索引要相应调整。跑通这段之后，你会直观看到“猫”和“狗”的相似度明显高于“猫”和“汽车”，这就是嵌入层在起作用。

提示：不同模型的分词器和嵌入维度不通用，换模型必须同时换 tokenizer，否则 token id 对不上，输出全是噪声。

3. 注意力机制与 Transformer：权重是怎么分配的

3.1 自注意力：每个 token 都在“看”其他 token

资料里把 Transformer 的核心归结为注意力机制，这个判断是对的。自注意力的做法是：对序列里每个 token，计算它与所有 token 的相关性分数，再按分数加权求和，得到新的表示。用公式说就是 Q、K、V 三个矩阵的运算，Q 是当前 token 的查询，K 是其他 token 的键，V 是值。分数经过缩放和 softmax 归一化后，就是注意力权重。

这里有个实操中很关键的细节：注意力权重是动态的，同一个词在不同句子里分到的权重完全不同。比如“苹果”在“吃苹果”和“苹果发布会”里，关注的重点 token 不一样。这正是模型能处理上下文的原因，也是它会产生“看起来合理但事实错误”输出的根源之一——权重分配合理不代表事实正确。

3.2 多头注意力与位置编码：两个不能省的组件

单头注意力只能捕捉一种关系模式，多头注意力让模型同时从多个子空间看序列，有的头关注语法相邻，有的头关注远距离指代。资料里没有展开多头，但这是理解“为什么大模型能同时处理长距离依赖”绕不开的点。另一个组件是位置编码，因为注意力本身不区分顺序，必须额外注入位置信息，否则“狗咬人”和“人咬狗”在模型看来是一样的。

下面用一段简化实现把注意力计算走一遍，重点看维度和 softmax 的位置，这是新手最容易写错的地方。

import torch import torch.nn.functional as F def scaled_dot_product_attention(Q, K, V, mask=None): # Q: [batch, heads, seq_len, d_k] d_k = Q.size(-1) scores = torch.matmul(Q, K.transpose(-2, -1)) / (d_k ** 0.5) if mask is not None: scores = scores.masked_fill(mask == 0, float("-inf")) weights = F.softmax(scores, dim=-1) return torch.matmul(weights, V), weights # 示意：2 个 token，维度 4 Q = torch.randn(1, 1, 2, 4) K = torch.randn(1, 1, 2, 4) V = torch.randn(1, 1, 2, 4) out, w = scaled_dot_product_attention(Q, K, V) print(w) # 每行和为 1，表示每个 token 对其他 token 的注意力分布

逻辑说明：先算 Q 和 K 的点积得到原始分数，除以sqrt(d_k)是为了防止维度大时点积过大导致 softmax 饱和、梯度消失；mask 用来屏蔽不该看的位置，解码器训练时用它防止看到未来 token；softmax 沿最后一维归一化，保证每个 token 的注意力权重加起来为 1。参数上，d_k必须和 Q 的最后一维一致，mask 的形状要能广播到分数矩阵。这段跑通后打印出的权重矩阵，每行和都是 1，这就是“注意力分配”最直白的体现。

注意：解码器里的因果 mask 如果写反，模型训练时会“偷看”答案，loss 降得很快但推理效果崩掉，这是血泪经验里排前三的翻车点。

4. 预训练与微调：两个阶段各自解决什么问题

4.1 预训练：用下一个 token 预测学语言规律

资料里提到 ChatGPT 用大量开源文本做预训练，核心任务就是“给定前 n-1 个 token，预测第 n 个 token”。这个任务看起来简单，但要在海量文本上把下一个 token 的概率分布预测准，模型必须隐式学会语法、事实关联、推理模式。训练目标是交叉熵损失，优化器不断调整参数让正确 token 的概率上升。

这里要建立一个关键认知：预训练学到的是“语言的统计规律”，不是“事实数据库”。模型输出的是概率分布，采样得到 token，所以同一个问题问两次可能得到不同答案。资料里提到的 temperature 参数，就是在采样阶段调整这个分布的陡峭程度。temperature 低，分布更尖锐，输出更确定；temperature 高，分布更平缓，输出更多样但也更容易跑偏。常见做法是事实类任务用 0.2 到 0.5，创意类任务用 0.7 到 1.0。

4.2 微调与对齐：让模型“会聊天”而不是“会续写”

预训练完的模型只会续写，不会按指令对话。资料里提到“基于不同任务进行微调”，实际落地通常分两步：指令微调用“问题-回答”对训练模型遵循指令；对齐阶段用人类偏好数据调整输出风格，让回答更有用、更少有害内容。这两步的数据量和预训练不是一个量级，但决定了模型好不好用。

下面用一段伪代码把“预训练目标”和“微调目标”的差异摆出来，帮助理解损失函数在算什么。

import torch import torch.nn.functional as F def next_token_loss(logits, labels): # logits: [batch, seq_len, vocab_size] # labels: [batch, seq_len]，每个位置是正确 token 的 id # 移位：用位置 t 的输出去预测位置 t+1 的 token shift_logits = logits[:, :-1, :].contiguous() shift_labels = labels[:, 1:].contiguous() loss = F.cross_entropy( shift_logits.view(-1, shift_logits.size(-1)), shift_labels.view(-1), ignore_index=-100 # 填充位不参与损失 ) return loss

逻辑说明：shift_logits去掉最后一个位置，shift_labels去掉第一个位置，这样位置 t 的输出对应位置 t+1 的标签，就是“预测下一个 token”。ignore_index=-100用来屏蔽 padding，避免填充 token 拉低损失。参数上，vocab_size要和分词器词表一致，标签里 padding 位必须设成 -100。微调时这段代码不变，变的是数据——指令微调的数据是“指令 + 回答”，损失只算回答部分，指令部分同样用 -100 屏蔽。这个细节资料里没展开，但实际做微调时漏掉它，模型会把指令也当答案学，效果直接打折。

提示：微调数据里指令和回答的分隔符要统一，混用不同模板会让模型学出“格式混乱”的输出，排查起来非常费劲。

5. 避坑与排查：五个真实会翻车的点

5.1 现象：输出重复同一句话，停不下来

原因通常是解码策略问题。贪心解码在概率分布有平局时会陷入循环，或者 temperature 设得过低加上重复惩罚没开。解决方法是开启重复惩罚（repetition penalty），或者改用束搜索、top-k 采样。我一般先把 temperature 调到 0.7 以上试一次，确认是不是解码参数导致的，再回头查 prompt 里有没有诱导重复的结构。

5.2 现象：上下文一长，回答就开始丢前面的信息

原因是注意力在长序列上的权重被稀释，加上位置编码外推能力有限。解决方法是控制输入长度在模型训练长度范围内，超长内容做分段摘要再拼接。常见做法是先把长文档切成带重叠的块，分别抽取要点，再把要点汇总成短上下文喂给模型，而不是硬塞整篇。

5.3 现象：同一个 prompt 两次结果差异巨大

原因是采样随机性。temperature 大于 0 时每次采样路径不同，这是设计使然不是 bug。需要稳定输出时把 temperature 设为 0 或接近 0，并固定随机种子（如果接口支持）。但要注意 temperature 为 0 时模型容易死板，事实类任务可以接受，创意类任务不建议。

5.4 现象：模型自信地给出错误事实

原因是预训练目标是“像人话”而不是“说真话”，概率高不等于事实对。解决方法是在 prompt 里要求给出处、做多轮交叉验证，或者接检索增强，把外部资料塞进上下文让模型基于给定内容回答。单靠调参数解决不了幻觉，这是架构层面的边界。

5.5 现象：微调后模型通用能力明显下降

原因是微调数据分布太窄，模型过拟合到特定格式，把预训练学到的通用能力覆盖掉了。解决方法是混入一定比例的通用数据，降低学习率，减少训练轮数。我一般会留一个通用能力测试集，每轮微调后跑一遍，掉得厉害就回退。

6. 进阶验证：用概率视角检查模型输出是否“合理”

想把这份资料里的原理真正用起来，一个很实用的习惯是：不要只看模型输出了什么，要看它输出的概率分布。很多接口支持返回 token 级别的对数概率（logprob），拿到之后可以判断模型对每个 token 有多“确定”。确定度高但事实错的，是知识问题；确定度低且反复摇摆的，是 prompt 没给够约束。下面这段代码演示怎么从 logprob 里读出信息。

import math # 假设接口返回了每个生成 token 的 logprob（常见做法） token_logprobs = [-0.02, -0.15, -1.8, -0.05] tokens = ["北京", "是", "中国", "首都"] for tok, lp in zip(tokens, token_logprobs): prob = math.exp(lp) print(f"{tok}: logprob={lp:.3f}, prob={prob:.3f}")

逻辑说明：logprob 是自然对数概率，exp还原成概率。概率接近 1 说明模型很确定，接近 0 说明在多个候选间犹豫。参数上要注意不同接口的 logprob 基准可能不同，有的返回的是 top-k 候选的对数概率，需要先确认语义再解读。实际排查时，我会把低概率 token 标出来，回头看 prompt 里对应位置是不是有歧义表述，往往能定位到问题。

最后说个自己的习惯：每次调完参数或改完 prompt，我都会固定一组“回归问题”跑一遍，记录输出和关键 token 的概率，对比改动前后的差异。这套动作不复杂，但能挡住大部分“改了一个地方、崩了另一个地方”的情况。从那以后我每次上线前都强制走一遍这个对比，省下的排查时间远比准备测试集的时间多。希望帮到你。

本文还有配套的精品资源，点击获取