从N-gram到千亿参数：LLM入门可验证链路

简介：《大语言模型入门的基础知识》是一份面向零基础学习者与初级算法从业者的PDF讲义，围绕大语言模型与语言模型的核心概念展开，帮助读者建立从统计语言模型到预训练大模型的知识框架。压缩包内含1个PDF文件，约3.24MB，篇幅集中、便于通读与检索，适合作为课程预习、技术分享或面试复习的轻量资料。内容覆盖LLM背景、语言模型定义与概率建模、评估指标，以及基于规则和统计的N-gram、神经网络语言模型、预训练语言模型到大语言模型的演进脉络，并对参数规模、数据稀疏、泛化能力等关键问题作出梳理。目录按主题递进组织，重点术语与模型阶段对应清楚，便于按需跳读。已有129人学习，可作为入门阶段快速厘清术语、理解技术路线与后续深入Transformer、GPT系列模型的铺垫材料。

1. 一句「我想去打篮球」里的概率：这份 LLM 入门讲义把四代语言模型拉成了一条可验证的线

很多人聊大语言模型，开口就是千亿参数、上下文窗口、推理成本，但往下追一句「模型凭什么判断哪句话更像人话」，多数人就卡住了。这份《大语言模型入门的基础知识》讲义把这条线从最底层铺起：先给语言模型的标准定义 P(S) 和链式法则，再看 N-gram 如何用马尔科夫假设砍掉历史，接着是神经网络语言模型、Transformer 的预训练-微调范式，最后落到千亿参数级的大语言模型与评估指标。它适合两类人：要给团队做内部技术铺垫的工程师，需要一份骨架清晰、术语不糊的底稿；以及刚转过来被各种缩写砸晕的开发者，需要一个从概率定义一路走到指标口径的连续路径。它不教你调接口，但能让你在读到困惑度、对齐、预训练这几个词时不再含糊。

2. 语言模型的骨架：P(S) 怎么算，四代建模范式各买了什么账

2.1 从计数法到链式法则：为什么「数句子」这条路一定翻车

讲义里给的语言模型定义很朴素：给定词典 V，能算出任意词序列 S = {W1, W2, …, Wn} 是一句话的概率 P(S)，且 P ≥ 0。最直觉的实现就是计数——假设数据集里共有 N 个句子，其中 S 出现了 n 次，那就令 P(S) = n / N。这个方法在纸面上成立，在工程上几乎是零分：只要测试时遇到一个训练集里没出现过的词序列，分子就是 0，概率直接归零，模型没有任何插值或泛化的余地。语料再大也覆盖不了自然语言的长尾组合，这不是数据量问题，是建模方式的问题。

出路是概率论里的链式法则，把整句概率拆成条件概率的连乘：P(W1, W2, …, Wn) = P(W1) · P(W2|W1) · P(W3|W1,W2) · … · P(Wn|W1,…,Wn-1)。拆完之后每一步只预测下一个词，问题从「判断整句」变成了「给定历史预测下一个词」，这才是语言模型在工程上的标准形态，也是后来所有生成式模型的共同接口。讲义在这里给了一个很实用的第二定义：给定一个词组或一句话，语言模型能预测接下来的一个词——这句话基本就是后来所有对话模型、补全模型的接口描述。

但链式法则立刻带来两个新麻烦。第一是参数空间，假设词表规模 5 万，要估 P(Wn|W1,…,Wn-1) 就得覆盖 5 万的 n 次方种条件组合，n 稍微大一点就是天文数字，既存不下也算不动。第二是数据稀疏，即便你把 n 压到 5，绝大多数词元组在语料里依然一次都没出现过，最大似然估计给出来的还是 0。这两条缺陷，正是后面三代模型依次要解决的问题；读这份讲义时如果只记住公式、不记住这两个缺陷，后面 N-gram 为什么要做马尔科夫假设、神经网络模型为什么要引入词向量，就全成了无源之水。

2.2 N-gram 的马尔科夫假设：bigram 与 trigram 的计数口径

N-gram 的解法是加一个马尔科夫假设：一个词出现的概率只与它前面有限个词有关。只依赖前一个词叫 bigram，依赖前两个词叫 trigram，完全不看上下文叫 unigram。假设当前词只与前 N-1 个词相关，条件概率就从「看全部历史」退化成「看固定窗口」，参数总量从指数级降到可控范围。讲义里点明实践中最常用的是 bigram 和 trigram，这个结论到今天依然成立——不是它们效果好，而是它们在「能估出来」和「有点上下文」之间卡在了成本可接受的位置。

参数估算的方式是最大似然：P(Wi|Wi-1) = C(Wi-1, Wi) / C(Wi-1)，先数相邻词对出现了多少次，再数前一个词单独出现了多少次，相除即得。讲义用一个小语料演示了完整流程，最后的落点是那句「我想去打【mask】」——分别算 P(我想去打篮球) 和 P(我想去打晚饭)，前者概率更高，于是 mask 判为篮球。这个例子的价值不在于结果对不对，而在于它把一个生成任务还原成了两次除法和一次比较，任何人都能手算复核。

代价也很清楚。窗口固定意味着只能建模到前 N-1 个词，再远的信息一律丢失；N 增大时参数空间呈指数膨胀，trigram 已经是 5 万的三次方量级；数据稀疏导致 OOV（未登录词）几乎无法避免；泛化能力差，语义相近但字面不同的组合彼此不通。这四条缺点不是 N-gram 的实现瑕疵，而是这套假设的固有边界，后面神经网络语言模型的每一处设计，几乎都对着其中一条来的。

2.3 神经网络语言模型：把「查表」换成「算相似」

神经网络语言模型的输入还是前 n-1 个词，但表示方式变了：每个词先映射成一个稠密词向量 C(w)，把 C(wt-n+1) 到 C(wt-1) 这 n-1 个向量首尾拼接成一个 (n-1)×m 的向量 x，送进全连接层，过 tanh 激活，再进一个输出维度等于词表大小 V 的全连接层，得到未归一化的 logits，最后 softmax 归一化成概率分布，取最大者作为预测结果。

这个结构的关键收益在于「相似词共享统计强度」。N-gram 里「打篮球」和「投篮」是两组完全独立的计数，而在词向量空间里它们位置接近，模型在一个组合上学到的东西能部分迁移到另一个组合上，数据稀疏的痛感因此明显下降，泛化能力也随之提升。词向量本身是训练过程的副产物，这也是后来「预训练词表示」这条路线最早的雏形。

短板同样明显。窗口依然是固定的 n-1，超出的历史信息一律不可见，长序列建模能力有限；网络层数一深就容易梯度消失，训练不稳定；输出层的参数量是 V×m 级别，词表一大就非常吃显存。讲义在这里只做了结构性描述，没有展开训练细节，这是合适的——入门材料在这一层的目标是把「词向量 + 窗口 + softmax」这条链路讲通，而不是复现训练。

2.4 预训练-微调范式与大模型阶段：从「任务专用」到「任务示例」

Transformer 带来的变化是自注意力把固定窗口打开了，任意两个位置之间可以直接建立依赖，长期困扰的「只能看前 N-1 个词」被结构性绕开。围绕它形成的是两阶段范式：预训练阶段在大规模通用文本上用自监督目标训练，第一阶段常见的是掩码语言建模加下一句预测这类目标，让模型学到通用语言表示；微调阶段把预训练权重迁到具体下游任务上，用少量标注数据调整，换取任务上的效果。

再往后就是参数规模主导的阶段。当参数从亿级推到千亿级，模型表现出一种新能力：不调整权重、只靠用户给出的任务示例就能完成具体任务。讲义把这个能力和「对齐」并列写进了第三阶段的特征里，描述的是模型开始走向对话式、生成式、多模态，并且更强调与人类交互做对齐，追求可靠、安全、少有害输出。这一步是整个演进里性质变化最明显的一次——前几代拼的是「估得准」，这一代拼的是「听得懂人话」。

四代范式之间不是替代关系，而是叠加关系。今天一个千亿参数模型内部，仍然跑着自回归的下一个词预测；微调、提示、示例学习这些手段也仍然在用，只是每一层解决的问题不同。读这份讲义时，把四代模型当成四个「解决上一代遗留缺陷的方案」来看，比当成四个并列的名词要清楚得多。

3. 把讲义里的语料例子跑起来：计数表、平滑与困惑度

3.1 先把语料和计数表搭出来

讲义里的例子给的是小词表上的概念演示，真正要建立手感，得自己写一遍计数代码。这一步没有捷径，计数表建错，后面所有概率和指标都是错的。我一般用几十条短句起步，词之间用空格切好，句首补<s>、句尾补</s>，这样句首词和句尾词的概率也能被正常估计，不至于在算整句概率时漏掉两端。

from collections import Counter # 极简语料：每条已分好词，避免把分词问题混进来 corpus = [ "我 想 去 打 篮球", "我 想 去 吃 晚饭", "他 想 去 打 篮球", "我 想 打 篮球", ] sents = [s.split() for s in corpus] V = sorted({w for s in sents for w in s}) V_size = len(V) # 词表规模，平滑和归一化都要用 uni = Counter() # 一元计数 C(w) bi = Counter() # 二元计数 C(w_{i-1}, w_i) ctx = Counter() # 上下文计数 C(w_{i-1})，注意与 uni 口径不同 for s in sents: padded = ["<s>"] + s + ["</s>"] for a, b in zip(padded, padded[1:]): uni[b] += 1 bi[(a, b)] += 1 ctx[a] += 1 print("词表:", V, "大小:", V_size) print("C(打,篮球) =", bi[("打", "篮球")], " C(打) =", ctx["打"])

这段跑完会打印出C(打,篮球) = 3、C(打) = 3，也就是说在这份小语料里「打」后面接「篮球」的概率是 1.0。注意uni和ctx必须分开维护：uni["打"]统计的是「打」作为被预测词出现的次数，而ctx["打"]统计的是「打」作为上下文出现的次数，两者在句首句尾补标记之后并不相等。很多人图省事直接用uni当分母，结果整句概率算出来大于 1，排查半天才发现是口径混了。

3.2 加一平滑与 OOV：把概率 0 变成可算的数

原始最大似然估计在测试句上几乎必然撞 0。哪怕只是换一个没见过的搭配，比如「吃 篮球」，bi[("吃","篮球")]就是 0，整句概率连乘之后直接归零，困惑度算出无穷大，程序抛异常。这不是代码 bug，是模型本身的缺陷在数值上的体现。

最省事的补救是加一平滑，公式是 P(wi|wi-1) = (C(wi-1, wi) + α) / (C(wi-1) + α·|V|)，α 取 1 就是标准的拉普拉斯平滑，取 0.1、0.01 就是常见的较小平滑强度。分母加上 α·|V| 是为了保证所有候选词的概率加起来仍然等于 1，这一步漏掉的话，概率分布就不再归一化，后面算困惑度会得到偏小的假象。

def bigram_prob(a, b, alpha=1.0, V_size=V_size): """加一平滑后的 P(b|a)；alpha=0 时退化为最大似然""" num = bi[(a, b)] + alpha den = ctx[a] + alpha * V_size if den == 0: return 0.0 return num / den print("P(篮球|打) 平滑前:", bigram_prob("打", "篮球", alpha=0.0)) print("P(晚饭|打) 平滑前:", bigram_prob("打", "晚饭", alpha=0.0)) print("P(篮球|打) 平滑后:", bigram_prob("打", "篮球", alpha=1.0)) print("P(晚饭|打) 平滑后:", bigram_prob("打", "晚饭", alpha=1.0))

平滑前，「晚饭|打」是 0；平滑后变成 1/(3+8) ≈ 0.09，而「篮球|打」从 1.0 降到 4/(3+8) ≈ 0.36。平滑的代价是把一部分概率质量分给了没出现过的组合，收益是模型不会在遇到新搭配时直接崩掉。α 的取值本质上是「你有多不信任训练语料」，语料越小 α 应该越大，语料上亿时 α 取 0.01 甚至更小才合理。

OOV 是另一个必须提前处理的问题。词表一旦固定，测试时出现的新词只能映射成<unk>，而<unk>的计数通常很低，会让整句概率被严重低估。常见做法是先在大语料上统计词频、按频次截断词表，把低频词统一归到<unk>，或者干脆改用子词切分，从根上避免未登录词。

3.3 用困惑度横向比较 bigram 和 trigram

困惑度是语言模型最常用的内在指标，直观含义是「模型在每一步预测时平均要在多少个候选词里犹豫」。计算方式是把测试集中每个词的条件概率取对数、求和、取负、除以预测次数，再取指数：

import math def sent_logprob(sent, alpha=1.0): padded = ["<s>"] + sent + ["</s>"] total = 0.0 for a, b in zip(padded, padded[1:]): p = bigram_prob(a, b, alpha=alpha) total += math.log(p) return total def ppl(sent, alpha=1.0): lp = sent_logprob(sent, alpha=alpha) n = len(sent) + 1 # 预测次数：含句尾 </s>，不含句首 <s> return math.exp(-lp / n) test = "我 去 打 篮球".split() print("logprob:", round(sent_logprob(test), 4), " PPL:", round(ppl(test), 4))

这里有两个口径必须写死，否则跨模型比较毫无意义。第一个是预测次数 n：句首<s>是被当作已知条件喂进去的，不应该计入分母；句尾</s>是被预测出来的，必须计入。第二个是词表：困惑度只在同词表、同切分粒度下可比，拿一个 5 万词表的 bigram 去和一个 3 万子词词表的模型比 PPL，结论是无效的。这是我见过最多的翻车点——两个团队各报一个 PPL，数字差一倍，最后发现一个是按词算、一个是按字符算。

比较 bigram 和 trigram 时，直觉上 trigram 应该更好，因为上下文更长。但在小语料上实测往往相反：trigram 的计数更稀疏，大部分三元组出现次数是 0 或 1，平滑之后概率分布被摊得很平，PPL 反而升高。这个反直觉的结果恰恰是 N-gram 的核心矛盾——上下文长度和参数可估性是互相拉扯的，语料规模没跟上时，加长窗口是负收益。

3.4 下一个词预测：手算一遍再交给代码

讲义的落点是「我想去打【mask】」这个填空。用前面建好的计数表跑一遍，给定上下文「打」，算「篮球」和「晚饭」两个候选的平滑后概率，前者约 0.36，后者约 0.09，取大者得篮球。代码三行就能写完：

cands = ["篮球", "晚饭"] scored = [(w, bigram_prob("打", w, alpha=1.0)) for w in cands] best = max(scored, key=lambda x: x[1]) print(scored, "->", best[0])

值得强调的是，这一步手算的价值远大于代码本身。当你亲手数出 C(打,篮球)=3、C(打)=3、代入平滑公式得到 4/11，你才会真正理解为什么 N-gram 在真实语料上会失效——真实语料的 ctx 计数可能是几百万，而某个具体搭配的 bi 计数是 3，比值小到 log 之后接近负十几，长句连乘直接下溢。工程上的标准解法是把连乘改写成对数累加，讲义里那套公式在实现时全部走 log 空间，这一步不做，句子长度超过 30 基本就报math domain error。

4. 参数量、算力与评估指标：判断一份 LLM 材料靠不靠谱的三把尺

4.1 10B 这条线：参数规模的量级感与显存账

讲义里给了一个操作性定义：参数量超过 10B 的模型称为大语言模型，同时提到千亿参数级的代表模型。这个门槛不是理论边界，而是某一时间点上的经验分界，用它来判断「够不够大」会出错，但用它来建立量级感非常有效。真正需要记住的是参数量到资源占用的换算关系，这是工程落地时每天都要用的。

推理侧，FP16 精度下权重显存约等于参数量 × 2 字节，这是下限；实际还要叠加 KV cache，长度越长、并发越高，这部分开销越快追上权重本身。训练侧，常用的粗略估算是总浮点运算量约等于 6 × 参数量 × 训练 token 数，系数 6 来自前向两次乘加与反向四次乘加的近似。这两个公式都不精确，但足以在你听到一个方案时快速判断它靠不靠谱。

这张表的用法是反向校验：如果有人告诉你某方案在单张 24 GB 卡上跑 70B 全精度推理，不用看别的，直接判定为不可行。血泪经验是，显存估算要把 KV cache 和激活值一起算进去，只算权重的结果通常在实际跑起来后差 30% 以上。

4.2 评估指标的两层：内在指标与任务指标不能混着看

语言模型的评估指标分两层，混用是入门阶段最容易犯的错。第一层是内在指标，衡量模型对语言本身的建模能力，代表就是困惑度，还有按字节归一化的 bits-per-byte 一类变体。第二层是任务指标，衡量模型在具体任务上的表现：分类任务看准确率和 F1，生成任务看 BLEU、ROUGE、chrF 这类基于 n-gram 重叠的指标，抽取式问答看精确匹配，对话类任务则更多依赖人工打分或成对偏好比较。

关键结论是一条：困惑度低不等于对话好。困惑度衡量的是模型对语料的拟合程度，一个在新闻语料上 PPL 很低的模型，放到多轮对话里可能完全不跟指令。反过来，经过指令对齐的模型 PPL 往往会上升，因为它的输出分布偏离了原始语料的分布——这不是退化，是目标变了。看到有人拿 PPL 论证一个对话模型更强，基本可以判定他没分清这两层。

4.3 对齐阶段在整条链路里的位置

讲义把第三阶段的特征描述为「更注重与人类交互进行对齐，实现可靠、安全、无毒」。这句话在工程上对应的是预训练之后的一串后处理步骤：先用高质量的指令-回答数据做监督微调，让模型学会按指令格式输出；再用人类偏好数据做优化，让模型的输出分布向人类更认可的方向偏移。这两步都不改变模型的下一词预测本质，改变的是它在什么分布上做预测。

理解这一点很关键，因为它决定了很多现象的归因。模型「不听话」，问题通常不在预训练，而在对齐数据；模型「答得很流畅但事实错误」，问题往往在预训练语料的覆盖度和事实性，对齐阶段很难补救；模型「拒绝回答某类问题」，那是安全对齐在起作用，不是能力缺失。把这三类问题分开看，排查方向才不会跑偏。

对齐阶段还有一个容易被忽略的成本：它需要大量人工标注的偏好数据，且标注标准难以统一。这也是为什么同一个基座模型，不同团队对齐出来的效果差异会很大——差异不在模型，在数据和标注规范。

5. 避坑与常见问题：这份讲义里最容易读岔的五个地方

5.1 把「10B 以上才算大模型」当成硬标准

现象：讨论时有人指着一个 7B 模型说「这不算大模型，没什么可聊的」，然后话题就断了。

原因：讲义里给出的 10B 是一条经验阈值，用于在那个时间点区分量级，不是定义。参数量和技术能力之间不是阶跃关系，7B 模型在特定任务上超过某些更大模型的情况很常见。

解决：讨论时把「参数量」和「范式」分开说。要说规模就报具体数字，要说能力就报具体任务和指标。把 10B 当分类标签用，除了制造争论没有别的收益。

5.2 直接连乘条件概率导致数值下溢

现象：算到第 20 个词左右，整句概率变成 0.0，取对数时报math domain error，或者 PPL 直接是 inf。

原因：每个条件概率都小于 1，几十个相乘之后超出双精度浮点的表示下限，被截断成 0。这是纯数值问题，不是模型问题。

解决：全流程走对数空间，概率相乘改成对数相加，最后需要真实概率时再取指数。同时检查平滑是否生效，未平滑的 0 概率取对数同样会炸。

5.3 跨词表比较困惑度

现象：两个方案各报一个 PPL，一个 18、一个 42，结论是前者明显更好，上线后效果却反过来。

原因：PPL 强依赖词表和切分粒度。按词切分的 5 万词表和按子词切分的 3 万词表，分母的预测次数都不一样，两个数字根本不在同一坐标系里。

解决：比较前先对齐三件事——词表、切分方式、是否计入句尾标记。三件事只要有一件不同，这个比较就作废。做不到对齐就换任务指标比。

5.4 以为大模型必须微调才能干活

现象：拿到一个开源权重模型，第一反应是准备数据做微调，几周过去效果还不如直接写提示。

原因：把预训练-微调范式直接套到了大模型阶段。大模型的一个核心能力就是不改权重、靠任务示例完成新任务，很多场景下提示工程加少量示例就能达到可用水平。

解决：先做基线——zero-shot 和 few-shot 各跑一批样本，记录指标；只有当基线明显不够、且任务有稳定标注数据时，再考虑微调。顺序反了，时间全浪费在数据准备上。

5.5 忽略 OOV 对指标的污染

现象：换了一份新领域的测试集，PPL 突然涨了好几倍，但人工看生成结果并没有明显变差。

原因：新领域里有大量词表外的专有词，全部映射成<unk>，而这些位置的预测概率天然很低，把平均对数似然拉了下去。指标反映的是词表覆盖度，不是模型能力。

解决：报指标时同时报 OOV 率。OOV 超过 5% 的测试集，PPL 只能做同领域内的相对比较，不能跨领域下结论。领域迁移场景建议改用子词切分重新建词表。

6. 进阶：把讲义当索引用，两周验证路径与一张对照表

这份材料最合适的用法不是从头读到尾，而是当索引用。它按「定义 → N-gram → 神经网络 → 预训练 → 大模型 → 指标」排布，每一节对应一个可以独立验证的技术点。我一般会把它拆成一张「概念 — 最小验证动作 — 判据」的对照表，每个概念都配一个十分钟内能跑完的动作，跑不通说明概念没吃透。

两周的节奏可以这样排：第一周只做前三行，把计数、平滑、困惑度三件事在小语料上跑通，重点是把口径写死——预测次数怎么算、词表怎么定、<unk>怎么处理。第二周做后三行，拿一个 7B 级别的小模型做 zero-shot 与 few-shot 的对照实验，同一批 50 条样本，记录准确率和人工可读性评分，再和 PPL 放在一起看。这一步的意义是让你亲眼看到内在指标和任务指标不同步，比读十遍「PPL 低不等于效果好」有用得多。

有一个细节值得单独提：做 few-shot 对照时，示例的数量和顺序会显著影响结果，同一批示例换个顺序，准确率波动几个点是常事。所以样本量别太小，50 条只能看趋势，要下结论至少几百条，并且固定随机种子。

从那以后我每次拿到一份「入门讲义」，都会先挑里面唯一一个能算数的例子亲手跑一遍——跑不通，说明这份材料只是名词堆叠；跑通了，它才值得往团队里发。这份讲义属于后者，那个「我想去打篮球」的例子虽然简单，但它把从概率定义到生成结果的整条链路压成了三次除法和一次比较，任何人照着敲一遍都能建立起最基本的手感。希望帮到你。

本文还有配套的精品资源，点击获取