1. 假设检验的底层逻辑：为什么我们总在"证明不存在"
1.1 一个反直觉的起点：无罪推定与"不能证明有罪"不是一回事
很多人在学假设检验时，卡在第一个概念上：为什么我们要先假设原假设为真，然后费尽全力去否定它？这种思路看起来绕，实际上是整个推断体系的根基。我第一次给团队讲这个逻辑的时候，用的是法庭审判来类比。
法庭上默认被告是无罪的，这对应原假设 ( H_0 )（通常表示"没有变化""没有差异""在规格范围内"）。检察官必须拿出足够的证据来证明被告有罪，对应备择假设 ( H_1 )（通常表示"有差异""超标了""不达标"）。如果证据不足，法庭的结论是"证据不足以证明有罪"，而不是"证明了他无罪"。假设检验的结论也是同一个套路：如果数据产生的统计量落入了拒绝域，我们说"拒绝原假设"；如果没有落入拒绝域，我们说"不能拒绝原假设"，而不是说"原假设是对的"。这个细节很多人不当回事，但它在实际工作中特别重要。
举个例子：质检部门想证明一批产品的均值与设计值有差异，假设检验帮你回答的是"当原假设为真时，观察到当前这种数据有多罕见"。如果罕见程度低到一定程度，比如只有不到5%的可能性，我们就倾向于认为原假设不是真的。这里的5%，就是我们常用的显著性水平 ( \alpha )。它代表"原假设为真时，我们却错误拒绝了它"的概率，统计学上叫第一类错误。
1.2 两类错误：你不可能做到永远正确，只能控制聪明的错误
假设检验建立在概率之上，就不可能万无一失。哪怕检验结果再"显著"，也只是说"在5%的错误率下，我不认为原假设成立"。这里有两类错误需要区分清楚：
- 第一类错误（弃真）：原假设是事实，但检验却拒绝了它，概率为 ( \alpha )。
- 第二类错误（存伪）：原假设不成立，但检验没有拒绝它，概率为 ( \beta )。
这里的权衡非常现实：你越想降低第一类错误，比如把 ( \alpha ) 从0.05改到0.01，拒绝域就越紧，导致第二类错误变大，也就是更不容易发现真实存在的差异。反过来，你想更容易发现差异，把 ( \alpha ) 放大，那么误判概率也会同步上升。所以不要迷信"显著性水平越低越专业"，它跟你愿意承担哪类风险直接相关。
在实际业务中，第一类错误通常被看得更重，因为它对应"无中生有"：产品明明合格，你却说它不合格，会造成返工和浪费；或者AB测试里明明没有提升，你却上线了新版本，造成不必要的损失。第二类错误则更隐蔽，产品可能已经出问题了，但统计检验没发现，长期存在质量隐患。做检验前，先想清楚哪一种错误对你损失更大，再反过来决定 ( \alpha ) 取多少。
2. 总体均值的假设检验：方差已知与未知，决定了你走哪条路
2.1 选Z还是选t：优先看有没有σ，而不是只看样本量
均值检验是整个假设检验体系里最常用的一类，围绕的核心问题是：样本均值 ( \bar{x} ) 与声称的总体均值 ( \mu_0 ) 之间的差异，到底大到能不能认定本质不同。
但刚入门的人很容易把选择逻辑记反。我经常看到有人这样说："样本量大于30用Z检验，小于30用t检验。"这句话只说对了一半，而且会误导人。
正确的判断顺序应该是这样：
- 总体标准差 ( \sigma ) 是否已知。如果已知，用Z检验。
- 如果 ( \sigma ) 未知，看样本量。大样本（通常 ( n \geq 30 )）时，样本标准差 ( s ) 是 ( \sigma ) 的可靠估计，可以用Z检验近似；小样本时，必须用t检验，自由度是 ( n-1 )。
为什么这么强调？因为t分布有一个"系安全带"的作用：样本量小的时候，样本标准差本身就有很大的不确定性，用z分布容易高估检验的把握。这时候用t分布，它的尾部更厚，需要更大的证据才能拒绝原假设，相当于自动补偿了你对小样本认知的不足。
实际工作中，总体的 ( \sigma ) 几乎永远未知，所以我们大部分情况下都在跟t检验打交道。Z检验常见于教科书例题或那些长期积累了大量历史数据的场景，比如成熟生产线上的质量控制。
2.2 完整例题：灌装净含量到底有没有达标？
来看一道特别贴近生产场景的题。某饮料厂的灌装线，产品标注净含量是500ml。质检工程师怀疑灌装量不足，于是随机抽取了16瓶，测得平均净含量 ( \bar{x} = 498.2 )ml，样本标准差 ( s = 2.5 )ml。取显著性水平 ( \alpha = 0.05 )，问这批产品的灌装净含量是否低于标注值？
第一步：建立假设。
这里我们只关心"是否低于500ml"，是一个方向性检验，应该用单尾左侧检验。
- 原假设 ( H_0: \mu \geq 500 )（默认厂家没有偷工减料）
- 备择假设 ( H_1: \mu < 500 )
注意顺序：把"想证明的不利结论"放进备择假设，把"默认维持现状"放进原假设。这里质检工程师怀疑灌装不足，那么"不足"就是 ( H_1 )。
第二步：判断检验类型。
总体标准差未知，样本量只有16，显然应该用t检验，自由度 ( df = 15 )。
第三步：计算检验统计量。
t = (498.2 − 500) / (2.5 / √16) = (−1.8) / (0.625) = −2.88
第四步：查临界值。
( \alpha = 0.05 ) 的单尾左侧t检验，查t分布表，自由度15对应的临界值是 ( t_{0.05,15} = 1.753 )。由于是左侧检验，拒绝域在 ( (-\infty, -1.753] )。
第五步：下结论。
检验统计量 −2.88 落在了拒绝域内，拒绝原假设。也就是说，在5%显著性水平下，没有证据支持"灌装量不低于500ml"，质检工程师的怀疑在统计上成立，这批产品需要重新排查灌装设备。
这里还能算一下p值，用软件可以得到p ≈ 0.0056，远小于0.05，说明结论非常稳定。如果我们用Z检验近似，z = −2.88对应的p值大约0.002，虽然结论相同，但你会发现t检验给出来的p值更大，这就是我前面说的"安全带效应"：不确定性越大的场景，它越保守。
实际心得：这道题里的16瓶、498.2、2.5，换到真实场景里就是从产线上按时间间隔抽的样本，不是一次性拿16瓶完事。抽样随机性不能满足的话，一切统计推断都白搭。这要作为原则记住，比公式重要得多。
2.3 单尾与双尾的抉择，必须在看数据之前做完
关于单双尾，最大的坑不是算不出来，而是"先看了数据，再决定用单尾检验"。假设你抽了一批数据，发现均值比标准值低了，于是你"灵机一动"：反正低了，那就做左侧单尾检验吧。在这个瞬间，你把原本应该基于业务逻辑的决策，交给了已经看到的数据，p值会被系统地压低，导致显著性被夸大。
正确的做法是：在收集数据之前，就根据业务需求把单双尾固定下来。
- 如果只关心"是不是低于标准"，比如环保指标、含量下限，用单尾；
- 如果关心"是不是不等于标准"，无论是高于还是低于都算问题，比如设备校准的居中波动，用双尾。
实务提示：在双尾检验中，你把 ( \alpha ) 一分为二分配在两侧。相同的样本均值差异，双侧检验更难拒绝原假设。所以一个被玩家普遍认可的经验法则是——除非有特别明确的业务方向，否则默认双尾。它更保守，结论也更经得起问询。
3. 总体比例的假设检验：把成功次数变成检验统计量
3.1 比例检验的下马威：什么时候可以用正态近似
比例检验处理的是"是/否"这类二分类数据：合格率、点击率、转化率、留存率。原假设涉及的是总体比例 ( p )，观察到的则是样本比例 ( \hat{p} = x / n )，其中 ( x ) 是"成功"次数。
比例检验的统计量看着简单，但它后背有一个严格前提：二项分布在大样本下近似正态分布。这个近似是否可靠，不由n单独决定，而是由 ( n ) 和 ( p ) 共同决定。
一个常用判定规则是：
- ( np_0 \geq 5 ) 且 ( n(1−p_0) \geq 5 )
同时满足，才可以放心用Z统计量。它相当于告诉你：成功次数和失败次数都足够多，二项分布的形状才足够对称，用正态分布去套才不翻车。我在实际业务里见过有人拿n=20、宣称留存率20%的样本做Z检验。算出来很"好"，但前提早就碎了一地。
如果样本量确实不足，换用精确二项检验，或者说白了，直接用排列法算概率，不用凑平均的坑。但这类小样本案例在真实业务里少见，更常见的错误恰恰是"勉强能用就上"。
3.2 完整例题：留存率没达到宣传口径，算不算翻车？
某内容平台对外宣称次日留存率不低于40%。运营团队内部评估时抽了400个新用户，发现次日留存150人，样本留存率 ( \hat{p} = 37.5% )。取 ( \alpha = 0.05 )，检验该平台次日留存率是否低于宣传口径。
第一步：建立假设。
平台的宣传口径是"不低于40%"，质疑方向是"实际低于40%"。
- ( H_0: p \geq 0.40 )
- ( H_1: p < 0.40 )
第二步：验证使用条件。
( np_0 = 400 \times 0.40 = 160 )，( n(1−p_0) = 240 )，都远大于5，可以使用Z检验。
第三步：计算检验统计量。
z = (0.375 − 0.40) / √[0.40 × 0.60 / 400] = (−0.025) / 0.02449 ≈ −1.02
第四步：查临界值。
左侧单尾，( \alpha = 0.05 )，临界值 ( z = −1.645 )。拒绝域在 ( (-\infty, −1.645] )。
第五步：下结论。
−1.02没有落入拒绝域，不能拒绝原假设。也就是说，虽然样本留存率37.5%低于40%，但这可能是抽样波动造成的，在5%显著性水平下并没有足够的证据认为真实留存率低于40%。
这个问题在业务中特别容易引起争吵。运营同事盯着"37.5% < 40%"喊翻车，但从统计角度，n=400的抽样误差大约正负2.4个百分点，37.5%根本落不出误差范围。我常说一句话："别拿两个点的差距当板上钉钉的事，先算算它在不在误差范围内。"这一步知识，能帮你挡掉很多无意义的争论。
扩展一个实用点：上面这个例子是单侧检验，p值大约是0.15。如果做的是双侧检验，p值直接翻倍到0.30，更说明没有翻车依据。你看，同一个数据，单双尾的选择会影响"翻车"的判断，所以业务口径的确认一定要前置。
4. 总体方差的假设检验：样本方差到底该波动到什么程度才算异常
4.1 卡方统计量为什么这样构造
均值检验关注"位置"，方差检验关注"离散程度"。很多质量问题的本质不是均值跑了，而是波动变大了。生产出的零件均值正好在规格中心，但忽大忽小，照样不少废品。这正是方差检验的价值所在。
总体方差的检验统计量构造逻辑是：在原假设 ( \sigma = \sigma_0 ) 为真时，样本方差 ( s^2 ) 跟总体方差 ( \sigma_0^2 ) 的比值不应该离1太远。但是，这个比值乘以自由度后服从的分布并不是正态分布，而是一种不对称的卡方分布：
[ \chi^2 = \frac{(n-1)s^2}{\sigma_0^2} ]
这里 ( \chi^2 ) 的自由度为 ( n-1 )。
为什么是卡方而不是正态？因为方差是通过平方运算得到的，平方和对独立同分布的正态随机变量求和，天然会引出卡方分布。这跟均值是"线性加总"、引出的自然是正态分布，是一个对称的道理。
4.2 完整例题：精密件的直径波动超限了没有？
某精密零件加工车间对直径的要求是均值 10.00mm，控制标准里明确写着"方差不超过0.04 mm²"。质量主管怀疑最近工序的波动变大了，于是抽了25件产品，测得样本方差 ( s^2 = 0.06 ) mm²。取 ( \alpha = 0.05 )，检验工序波动是否超过标准。
第一步：建立假设。
质量标准的关注方向是"方差是否超上限"，所以是右侧单尾：
- ( H_0: \sigma^2 \leq 0.04 )
- ( H_1: \sigma^2 > 0.04 )
第二步：选择统计量。
方差检验用的是卡方统计量，自由度 ( df = n − 1 = 24 )。
第三步：计算检验统计量。
[ \chi^2 = \frac{(25−1) \times 0.06}{0.04} = \frac{1.44}{0.04} = 36 ]
第四步：查临界值。
查卡方分布表，自由度24、( \alpha = 0.05 ) 的右侧临界值 ( \chi^2_{0.05,24} \approx 36.415 )。如果统计量大于这个值，就落入拒绝域。
第五步：下结论。
36 < 36.415，检验统计量没有落入拒绝域，因此不能拒绝原假设。结论是：虽然样本方差看起来超过了0.04，但在5%显著性水平下，数据不足以证明工序波动真的超标。
这个例子我特别想多说两句，因为它是"显著性检验不等于实际影响"的很好示范。你可能会觉得"样本方差都比标准高50%了，为什么还不显著？"因为样本量只有25，方差估计本身波动极大。卡方分布的方差等于2倍自由度，大到令人很难精确估计总体方差。如果要提高对这种波动的检测能力，办法是增大样本量。换个计算试试：同样的0.06、同样的方差比，n=50时，卡方统计量变成 ( 49 \times 0.06 / 0.04 = 73.5 )，自由度49的 ( \alpha=0.05 ) 临界值约66.34，立刻拒绝原假设。
算例里的门道：差异不够大、样本不够多、显著性水平不够宽，三者里任何一个都能让显著结果变成不显著。真正专业的报告会把这三者一起摊开讲，只给一个p值是耍流氓。
另外，卡方检验有一个比均值检验更严格的前提：要求总体近似服从正态分布。均值t检验在样本量够大的时候，对正态性的偏离有一定免疫力，但方差检验对数据野值和长尾非常敏感。真实场景里，先做正态性检验或绘制Q-Q图，确认数据没有离谱的尾巴之后，再放方差检验，顺序不能乱。
5. 三类检验放在一起看：选择方法速查表与三个实战中的常见坑
5.1 三十秒判断用哪个检验，记住这张速查表
很多人觉得假设检验难，是因为方法多、公式杂，但其实你把它当一个"分类讨论"问题，规则非常简单。把"你要检验什么"和"你手里有什么"放在一起，答案就出来了：
| 要检验的对象 | 已知条件 | 检验统计量 | 分布前提 |
|---|---|---|---|
| 总体均值 ( \mu ) | 总体标准差 ( \sigma ) 已知 | ( z = \frac{\bar{x} - \mu_0}{\sigma / \sqrt{n}} ) | 正态或大样本 |
| 总体均值 ( \mu ) | ( \sigma ) 未知，n较小 | ( t = \frac{\bar{x} - \mu_0}{s / \sqrt{n}} )，自由度 ( n−1 ) | 总体近似正态 |
| 总体均值 ( \mu ) | ( \sigma ) 未知，n较大 | 可用Z近似，也可以用t | 大样本下比较稳健 |
| 总体比例 ( p ) | 成功次数x、样本量n | ( z = \frac{\hat{p} − p_0}{\sqrt{p_0(1−p_0)/n}} ) | ( np_0 \geq 5 ) 且 ( n(1−p_0) \geq 5 ) |
| 总体方差 ( \sigma^2 ) | 样本方差 ( s^2 )、样本量n | ( \chi^2 = \frac{(n−1)s^2}{\sigma_0^2} )，自由度 ( n−1 ) | 总体近似正态 |
一个最容易记住的判断顺序：先看对象，均值看σ知不知，比例看np够不够，方差看数据正不正态。这四句话基本上能覆盖所有入门级的业务场景。
5.2 三个我见过最多人踩的坑
第一个坑，是把p值解释成"原假设为真的概率"。p值的准确定义是："在原假设为真的条件下，观察到当前样本或更极端样本的概率。"它是一个条件概率，而不是"原假设为真的概率"。把两者混为一谈，在业务汇报里会得出非常危险的结论，比如"p=0.03说明原假设有97%概率是假的"，这是错的。正确的表述是"如果原假设为真，我们只有3%的概率会观察到这样的数据"。两者在措辞上极其相似，但逻辑完全不同。
第二个坑，是显著性水平设了0.05却干着0.20的事。这里的背后是多重比较问题。我见过一个运营团队，一次实验同时测了10个指标，每个指标都按0.05的标准判断是否显著，最后挑出两三个指标说"实验有效"。要知道，即使所有指标都没有真实效果，每个指标有5%概率出现假阳性，10个指标里至少出现一个假阳性的概率是 ( 1 − (0.95)^{10} \approx 40% )。换句话说，这么干的效果，跟把显著性水平偷偷放大到0.4没什么区别。如果你的确需要同时检验多个指标，先做Bonferroni校正，即把每个指标的显著性水平改成 ( \alpha / m )（m为指标个数），或者用更现代的FDR方法控制假发现率。这个细节在很多入门教程里根本不会提，但在真实业务里几乎天天遇到。
第三个坑，是报告只写"显著"或"不显著"，不写统计量和样本量。在数据分析这一行，能复现的结论才是有价值的结论。你给老板汇报"留存率显著提升0.3个百分点"，下一步他一定会问"你试了多少样本？检验用的是什么？p值多少？置信区间呢？"如果答不上来，结论的可信度瞬间归零。我个人的习惯是，任何假设检验的结论后面都跟一行"（n=500，t=2.15，p=0.032）"这样完整的信息，既方便别人复核，也逼自己把过程走完整。
关于置信区间，我一直提议在报告假设检验结果时顺带构造一个置信区间。置信区间能直接展示效应量的大小，而不只是"是否显著"。一个显著的结论可能是真的，但如果效应量只有0.001，那业务上可能毫无意义。检验解决"是不是真的有效"，置信区间解决"效果到底有多大"，两者配合才是完整的故事。
学假设检验最忌讳的是背公式、套例题。只要你把"先定业务问题→设置假设→判断适用条件→计算统计量→对照拒绝域→结合业务下结论"这条链路走顺，均值、比例、方差这三类检验就只是不同场景下换了一个统计量而已。从我做数据分析的经验来看，真正让你显得专业的地方，不是能背出多少个检验公式，而是能在每一个环节讲清楚"为什么这样做"，以及"这个结论的局限在哪里"。做到这一步，你再看手头那些待验证的业务问题，思路会清晰得多。
