大学第一次学信息论的时候，我其实被第一章就卡住了。老师上来就写了 ( I(x)=-\log p(x) )，然后说这个叫信息量，我盯着那个对数符号想了半天也没想明白：为什么信息量和事件概率之间偏偏是对数关系？为什么概率小反而信息量大？当时教材写得比较简略，我又翻了编码理论相关章节，发现后面算熵、算码长全都建立在这个看似简单的公式上，如果第一步没吃透，后面全在背公式。这篇内容不讲虚的，就带着大家从事件概率出发，一步步把信息量这个概念“逼”出来，聊清楚它为什么长这样、单位从哪来、和编码理论里码长的关系是什么，也把我在学习和实操中踩过的一些坑一并说出来。
1. 先从直觉入手：越不可能发生的事，越“值钱”
1.1 一条最简单的例子带你进入信息量的世界
假设我现在告诉你两件事：第一件，今天太阳从东边升起；第二件，今天你买的彩票中了五百万。哪句话带来的“信息”更多？答案肯定是第二句，因为太阳从东边升起这件事你早就知道，听完内心毫无波澜；而中彩票这件事概率极低，一旦发生，你整个人会从椅子上弹起来。
这个日常经验其实就是信息量最朴素的起点：信息量的大小与我们对事件发生的预期程度有关。预期越强，事件发生后的“新鲜感”越弱；预期越弱，事件发生后的“新鲜感”越强。在概率论的语言里，预期强对应概率接近1，预期弱对应概率接近0。所以可以很粗略地说，信息量和事件概率成反向关系：概率越大，信息量越小；概率越小，信息量越大。
这里要注意，我们说的“事件”是一个已经定义好的结果，比如“掷骰子得到4点”就是一个事件，它的概率是 ( \frac{1}{6} )。信息量衡量的不是这件事本身重不重要，而是“它发生了”这个事实给我们带来了多少新东西。彩票到底给你多少钱那是价值问题，信息论不关心，信息论只关心你从“不确定”到“确定”之间的落差。
1.2 信息量与概率之间不是简单的反比
很多人直觉上会觉得，既然概率大信息量小，概率小信息量大，那直接定义 ( I(p)=\frac{1}{p} ) 不就好了？这个想法听着挺合理，但实际操作一下就会发现不对劲。
考虑两个独立的随机事件：掷一枚硬币得到正面，概率是 ( \frac{1}{2} )；再从一副牌里抽到红桃A，概率是 ( \frac{1}{52} )。如果信息量简单地取倒数，那前者的信息量是2，后者是52。现在把两个事件放在一起看：“掷硬币正面，同时抽到红桃A”，这个联合事件发生的概率是 ( \frac{1}{2} \times \frac{1}{52} = \frac{1}{104} )，按倒数的定义，它的信息量就是104。我们自然会觉得，两个独立事件同时发生的信息量应该等于各自信息量之和，也就是 ( 2+52=54 )，但104不等于54，就说不通。
这就是倒数的核心问题：它不满足可加性。两个独立事件同时发生的概率是相乘关系，但信息量应该是相加关系，这样才能保持直觉上的连贯性。刚才这个反例说明，信息量的函数形式不能随便拍脑袋，它必须满足某种结构要求，否则后面算联合事件、算信道容量的时候全都要出问题。
1.3 为什么对数形式会出现在这里
要同时满足“概率乘，信息量加”，最直接的办法就是找到一类函数，能让乘法变成加法。学过高中数学的人都知道，对数函数天然就有这个性质：( \log(ab)=\log a+\log b )。
所以信息量定义成 ( I(p)=-\log p ) 就非常自然了。用对数之后，两个独立事件的联合信息量就是各自信息量相加，和直觉吻合。取负号是因为 ( p ) 在0到1之间时，( \log p ) 本身是负数，取负号之后信息量就是非负的，越不可能发生的事件信息量越大。
我自己刚开始学的时候总觉得这个对数有点“空降”，直到把这个可加性的需求捋清楚，才意识到它其实是被一步步逼出来的，不是香农随随便便把对数写在公式里的。理解了这一层，后面看到各种对数公式就不会怵了。
2. 一步一个脚印：从香农的三条要求推出信息量公式
2.1 香农当年要求的几个“天经地义”
如果你觉得上面对数只是碰巧好用，那咱们再从公理化的角度重新走一遍。香农在建立信息论时，对“信息量”这个函数提了几个看起来非常基本的要求，基本到你会觉得这有什么好说的。
第一条是信息量应该是事件概率的连续函数，也就是说概率稍微变一点点，信息量不应该突然跳几大格。第二条是概率越小信息量越大，反过来概率越接近1信息量越接近0，这对应着“必然事件不携带信息”。第三条就是前面提到的可加性：两个独立事件同时发生，总信息量等于各自信息量之和。
这三个要求看起来平凡，但组合在一起，几乎把函数形式锁死了。连续性和单调性保证函数长得不奇怪，可加性则把乘法结构和加法结构强行对应起来，最终只剩下对数和常数倍这一族函数。所以信息量的公式不是“选出来的”，而是“推出来的”。
2.2 可加性如何锁定对数形式
写一下推导的关键步骤。设信息量函数为 ( I(p) )，根据可加性，对任意两个独立事件的概率 ( p ) 和 ( q )，必须有：
[ I(pq)=I(p)+I(q) ]
这个函数方程的解非常经典。先定义 ( g(p)=I(e^{-p}) )，代进去可以得到柯西方程形式的表达式，在连续性的保证下，解只能是 ( I(p)=-k\log p )，其中 ( k ) 是某个正的常数。这里我不打算把每一步证明都写成严谨的数学题，因为对大多数工程应用来说，真正要紧的是理解“这个公式是被结构逼出来的”这一点。
k 取不同值对应不同单位，这也是我们接下来要说的。但不管 k 取多少，函数形式都逃不出对数，这也就解释了为什么从信息论到编码理论，到处都弥漫着一股对数的味道。
2.3 底数选择与单位的对应关系
有了 ( I(p)=-k\log p ) 之后，底数怎么选就成了一个“记账单位”的问题。最常见的底数是2，对应的信息量单位叫比特（bit）。比如一个概率为 ( \frac{1}{2} ) 的事件，它的信息量就是 ( -\log_2 \frac{1}{2}=1 ) 比特，正好对应一个等概率的二选一。
如果底数取自然常数 ( e )，单位叫奈特（nat），在理论推导里很常见，因为求导方便。如果底数取10，单位叫哈特（hartley），早期的信息论里出现过，现在用得少。单位之间只差一个常数倍，就像米和英尺的关系一样，本质上没有高下之分，只是语境不同。
有一个经常被忽略的细节：比特这个单位不一定非要对应到“0和1”或“二进制位”。我们说一个事件信息量是1比特，意思是“消除这个不确定性所需的二选一判断次数”。这就为后面和编码长度挂钩埋下了伏笔，因为在二进制编码里，每增加一个码位就多一次二选一判断，码长和信息量由此建立起了直接的换算关系。
2.4 边界情况：概率为1时信息量为0
把边界情况单独拎出来看是很有价值的。概率 ( p=1 ) 时，( -\log_2 1 = 0 )，信息量是0。这对应“必然事件没有任何信息”。天气预报说“明天不会出现时间倒流”，你不会觉得这是一条有价值的信息，因为它必然会这样。
反过来，( p ) 趋近于0的时候，信息量趋近于正无穷。这也很合理，极小概率的极端事件一旦发生，带给人的意外感极强。但这里要特别注意：信息论不讨论“概率为0的事件”，因为 ( \log 0 ) 没有定义，实际应用里我们只讨论可能发生但概率很小的那些事件。
边界情况的另一个价值是帮我们建立“信息量 = 不确定性的减少”这个心智模型。一个事件概率越接近1，我们对它发生的确定程度越高，它发生以后，不确定性减少得也少；反之，概率越小，不确定性减少得越多。从这个角度看，信息量就是一个关于“风险释放”的度量。
3. 单点信息量到整体熵：信息量的“平均”形态
3.1 自信息与信息熵的定义关系
单个事件的信息量 ( I(x)=-\log p(x) ) 在信息论里通常叫“自信息”，它回答的是“某一个具体结果发生了，带来了多少信息”。但在很多实际场景里，我们关心的不是一个结果，而是整个随机变量平均下来能带来多少信息。
假设一个随机变量 ( X ) 有若干种可能取值，每种取值的概率分别是 ( p(x_1), p(x_2), \ldots )。对每个结果的自信息求加权平均，就得到信息熵：
[ H(X)=-\sum_{x} p(x)\log p(x) ]
理解这个公式有一个很直观的视角：熵就是整个系统对所有可能事件信息量的期望。如果一个系统总有一些大概率事件，这些事件自信息低，把熵拉下来了；如果有很多小概率事件，每个自信息都很高，熵就相应涨上去了。
这里有一个初学者容易犯迷糊的点：信息量是对“已经发生”的事件说的，熵是对“还没发生”的随机变量说的，两者一个是具体实现，一个是统计期望。分清这个，后面看条件熵、互信息就不会乱了。
3.2 硬币和骰子的熵计算
用两个例子具体算一下。先看一枚均匀硬币，正面反面的概率都是 ( \frac{1}{2} )，每个结果的信息量都是1比特，所以熵是：
[ H(X)=-\left(\frac{1}{2}\log_2\frac{1}{2}+\frac{1}{2}\log_2\frac{1}{2}\right)=1 \text{ bit} ]
再看一个均匀六面骰子，每个面概率都是 ( \frac{1}{6} )，每个面的自信息是 ( \log_2 6\approx 2.585 ) 比特，熵同样也是 ( \log_2 6 ) 比特，因为六个概率相同，加权平均就等于任何一个自信息。
我当年第一次做题时直接在这里摔了一跤，算一个非均匀分布的事件时，把“概率最大的那个结果的信息量”当成了“整个系统的熵”。这两个完全不同，熵要把所有结果的信息量都加权一遍。事实上，只要不是等概率分布，最大概率事件的自信息一定小于熵，因为其他小概率事件会把熵抬高。
3.3 等概率分布的熵最大
信息熵有一个很重要的性质：在所有可能取值的个数相同的情况下，等概率分布的熵最大。这个性质在编码理论和机器学习里都经常用到。比如三个事件，概率分布为 ( (\frac{1}{3},\frac{1}{3},\frac{1}{3}) ) 时熵约为1.585比特，但如果概率是 ( (0.8,0.1,0.1) )，算下来熵约为0.922比特，明显变小了。
直观上也非常好理解：概率分布越“平均”，系统的不确定性越大，你越难猜中结果，所以平均信息量就越大；概率分布越“倾斜”，你看到结果之前就已经大致有数了，不确定性小，熵自然就低。这个特性和编码理论里“等概率时需要更多比特来区分”的现象完全一致，后面再展开。
从数学上看，这个结论可以通过Jensen不等式证明，因为 ( \log ) 是上凸函数，所以对任何分布都有 ( \sum p(x)\log p(x) \le \log n )，等号只在所有 ( p(x) ) 相等时成立。对我们这些偏应用的人来说，记住结论和它的意义往往比重演一遍证明更实用。
3.4 条件熵：概率改变后信息量怎么变
信息量与事件概率的关系不仅仅是单点静态的，还体现在概率会随着新信息改变这一点上。假设随机变量 ( X ) 和 ( Y ) 有关系，在已知 ( Y ) 的某个取值后，( X ) 的条件分布就会变化，对应的信息量也会变化。
条件熵 ( H(X|Y) ) 的定义是：在所有可能的 ( Y ) 条件下，对 ( X ) 的熵做加权平均。它度量的是“知道了 ( Y ) 之后，( X ) 还剩多少不确定性”。如果 ( X ) 和 ( Y ) 强相关，那么知道 ( Y ) 之后 ( X ) 几乎就确定了，条件熵接近0；如果 ( X ) 和 ( Y ) 完全独立，那么条件熵就等于 ( H(X) )，说明 ( Y ) 没有提供任何关于 ( X ) 的信息。
条件熵是信息论里很关键的一步，因为它把静态的信息量推向了动态的概率更新。现实中的通信和推理本质上都是“观察到某个事件后，更新另一个事件的概率”，这其实已经摸到互信息的门边了，我们在第5部分再仔细说。
4. 编码理论视角：概率大的事件用短码，概率小的事件用长码
4.1 码长与信息量的等价关系
信息量这个概念如果只停留在数学公式上，还是有点抽象。编码理论给了它一个特别具体的落地方式：码长。
设想我们要给若干事件设计二进制编码，也就是用一串0和1来标记每个事件。事件发生得越频繁，我们希望它的码字越短，这样平均下来发送的总比特数就少；事件越罕见，码字长一点也无妨，反正它不常出现。这个朴素的思想和信息量精确地对上了：( p(x) ) 越大，自信息 ( -\log p(x) ) 越小，码长就可以越短；( p(x) ) 越小，自信息越大，码长就得越长。
更准确地说，在最优编码下，每个事件的最短码长大约等于它的自信息。香农编码定理的核心结论之一就是，可以设计出平均码长任意接近熵 ( H(X) ) 的编码。也就是说，熵就是“表示一个随机变量所需的最少比特数”，码长和信息量在这个意义上几乎是同一件事。这件事我学了两遍才真正打通，因为教科书里提得比较隐晦，后来自己做了一个编码实验才彻底看清，它俩就是硬币的两面。
4.2 香农编码的具体步骤
下面给一个可以直接上手的香农编码流程，它虽然不一定能拿到所有情况下的最优编码，但胜在思路清晰，特别适合用来理解“概率如何决定码长”。
第一步，把所有符号按概率从大到小排序。第二步，计算每个符号的累积概率。第三步，根据自信息确定码长，取 ( l_i = \lceil -\log_2 p(x_i)\rceil )。第四步，把累积概率转换成二进制小数，取前 ( l_i ) 位作为码字。
举一个经典的例子，四个符号的概率分别是 ( \frac{1}{2}, \frac{1}{4}, \frac{1}{8}, \frac{1}{8} )。它们的自信息分别是1比特、2比特、3比特、3比特，所以码长就是1、2、3、3。按照香农编码可以得到类似0、10、110、111这样的码字，平均码长是：
[ \frac{1}{2}\times1+\frac{1}{4}\times2+\frac{1}{8}\times3+\frac{1}{8}\times3=1.75 ]
而这个分布的熵正好也是 ( 1.75 ) 比特。这说明在这个例子里，香农编码做到了平均码长等于熵，非常理想。不是所有概率分布都能这么完美匹配，但多数情况下已经很接近了。
4.3 霍夫曼编码与概率排序的直觉
如果只想用代码实现一个实用压缩方案，霍夫曼编码通常是更常用的选择。它不显式计算自信息和码长，而是通过反复合并最小概率符号来构造码树，但最终结果依然处处体现着“低概率长码，高概率短码”的原则。
霍夫曼编码的直观之处在于它的合并过程：每次把两个概率最小的节点合并成一个父节点，概率相加，直到所有节点都并入一棵树，然后从根节点往下给每条边分配0和1。概率最小的那些符号因为合并次数多，处于树比较深的位置，码字就长；概率大的符号留在离根近的地方，码字就短。
我自己在实现霍夫曼编码的时候，经常用优先队列来维护概率最小的节点。这个方向在工程上非常成熟，但要注意排序稳定性。如果两个节点的概率一样，不同合并顺序会导致码字不同，虽然平均码长可能相同，但具体的码表会变。解码端必须知道当时的编码树结构，否则就解不开，所以很多文件压缩格式会把编码表信息一并存下来。
4.4 平均码长与熵的差距：冗余度
实际编码中，平均码长不一定刚好等于熵，通常会有一些额外开销。香农编码定理给的界限是：
[ H(X) \le L < H(X)+1 ]
这个小于 ( H(X)+1 ) 的“+1”来自向上取整操作。因为每个符号的码长都被取整到整数比特，而自信息未必是整数，多出来的部分就称为冗余度。如果连续编码多个符号，把符号分组来处理，这个冗余可以被平均掉，让总码率无限接近熵，这也是算术编码和区间编码能够做到接近极限的原因。
理解了冗余度，就能明白为什么有些看起来“不合理”的编码方式其实很合理。比如两个等概率符号，熵就是1比特，码长一位一位地编平均码长也就是1比特，没有冗余。但如果三个等概率符号，熵约1.585，取整后每个符号至少2比特，平均码长2比特，冗余就有0.415比特。这时候把三个符号组合在一起编码，就可以摊薄这个冗余，平均每个符号的比特数会明显低于2，向1.585靠拢。
5. 概率更新中的信息量：条件信息量与互信息
5.1 先验分布下的信息量
回到信息量与事件概率的关系，另一条重要的线索是概率会随着观测更新。在收到任何观测之前，一个事件 ( X=x ) 的信息量由先验概率 ( p(x) ) 决定，也就是 ( -\log p(x) )。如果某个结果之前被认为几乎不可能，那么它一旦真的发生了，信息量就非常大。
这在通信里特别常见。接收端对发送端可能发出的消息会有一个先验认知，比如消息0出现的概率是0.9，消息1出现的概率是0.1。收到“1”的时候，接收端的惊讶程度远高于收到“0”，因为这个事件携带的自信息高。注意，自信息描述的是“接收端”的意外程度，而不是“发送端”的努力程度。发送端可能花了一样的力气发0和发1，但接收端感受到的信息量完全不同。
这一段如果没理解透彻，后面看信道容量和编码增益的时候就容易懵。很多人觉得信息量是消息本身的一种属性，实际上它依赖的是接收端对事件概率的认知。同一个消息，在一个环境下概率高信息量低，在另一个环境下概率低信息量高，一点都不矛盾。
5.2 收到观测后的信息量变化
假设随机变量 ( X ) 是我们要知道的东西，( Y ) 是我们能观测到的线索。在收到 ( Y=y ) 之后，( X ) 的分布会从先验 ( p(x) ) 变成后验 ( p(x|y) )。此时某个结果 ( X=x ) 的信息量就变成 ( -\log p(x|y) )。
关键点在于，后验概率可能比先验概率大，也可能比先验概率小。如果 ( y ) 让某个 ( x ) 变成了几乎确定的结果，那么后验条件下的自信息就很小，因为“它本来就要发生”这件事已经被观测结果剧透了。如果 ( y ) 让某个原本大概率的结果变成了小概率，那么自信息反而会变大。
有一种情况让很多初学者困惑：观测不应该让信息变少吗？这里要区分清楚。观测让不确定性减少，也就是熵变小，但具体到某个事件的自信息，可能会变大也可能会变小。一个极端例子是，你本来有九成把握认为下一条消息是A，结果观测数据强烈暗示不是A而是B，那B发生的自信息就非常大。观测给你带来了“反转”，反转正是高信息量的体现。
5.3 互信息实际上在量什么
把条件熵和自信息整合起来，就得到互信息：
[ I(X;Y)=H(X)-H(X|Y) ]
互信息的定义表达了一个很朴素的量：观测 ( Y ) 让 ( X ) 的不确定性减少了多少。它也可以写成 ( I(X;Y)=H(Y)-H(Y|X) )，还等于联合分布与独立分布乘积之间的KL散度。
我在自学时觉得互信息最好用的理解方式是“相关性的信息论版本”。如果 ( X ) 和 ( Y ) 独立，那么 ( H(X|Y)=H(X) )，互信息为0，意思是观测一个变量对另一个变量没有任何帮助。如果它们完全确定性地互相决定，条件熵为0，互信息就等于 ( H(X) )，意思是知道了 ( Y ) 就等于知道了 ( X )。
从概率角度看，互信息是“一个事件概率的改变能带来多少信息”的全局度量。它不是看某一个结果的自信息，而是把所有可能结果都考虑进来，衡量整个概率分布因为观测发生了多大的变化。理解了互信息，前面单点信息量、熵、条件熵就串成一条线了。
6. 几个常见误区和实用心得
6.1 误区一：小概率事件的信息量一定大于大概率事件的信息量
这个说法只有在同一个随机变量内部比较时才成立。如果在两个完全不同的场景里比较，事情就变得复杂了。比如“彩票中奖”的概率是千万分之一，信息量约23比特；而“某地发生3级地震”如果概率是百分之一，信息量约6.6比特。你不能说彩票这件事的信息量就是23比特，就显得比地震更大，因为两者的样本空间和背景模型都不同。
更准确的说法是：在一个给定的概率模型中，概率越小的事件，自信息越大。脱离概率模型谈自信息是没有意义的。这个问题在我们讨论“新闻价值”“广告效果”时尤其容易踩坑，信息量只关乎概率，不关乎语义重要程度，一件事信息量高不代表它更有用或更有意义。
6.2 误区二：把信息量等同于“含义”或“价值”
这是我最想让初学者避开的一个坑。信息论里的信息量完全建立在概率计算上，不讨论一条消息的含义是什么、重不重要、有没有用。比如一串随机乱码，从信息论角度可能信息量极高，因为每个字符都难以预测；但你读完可能觉得毫无价值。反过来，一篇讲话里每一句都很容易预测，信息量很低，但它可能发挥着稳定人心的社会价值。
信息量像是一个对“意外程度”的量化，而不是对“意义深浅”的量化。理解了这一点，才能明白为什么数据压缩能压到接近熵的极限——因为压缩算法不关心内容有没有意义，只关心统计上的可预测性。在编码理论的语境里，一段全是0的文本和一段抛硬币得到的文本，前者的信息量要低得多，尽管前者的“意义”在某些场合可能非常重大。
6.3 误区三：信息量必须取整成比特个数
自信息 ( -\log_2 p ) 经常不是整数，比如概率为0.3的事件信息量约为1.737比特。有些同学就觉得奇怪，信息量怎么能有小数？比特不是一位一位的吗？
关键是要把“信息量”和“码长”分开。信息量是理论上的度量，可以连续取值；码长是实现层面的概念，因为实际编码中二进制码字的长度必须是整数。两者之间通过编码定理联系，但并不是同一个东西。1.737比特的信息量意味着理论上平均需要约1.737个二进制判断，实际编码时可能要取整到2比特码长，多余的部分就是编码冗余。这在数值上很正常，不用觉得别扭。
6.4 实操心得：如何让这个公式真正长在脑子里
最后分享几个我后来给学生讲课时常用的经验。
第一，遇到任何和“不确定性”有关的工程问题，先写下概率分布，再算熵，不要凭感觉说“这个系统的信息很大”。信息量大不大，不是看数据多不多，而是看概率分布有多平，分布越平熵越大。
第二，始终记得“概率相乘，信息量相加”这条线索。凡是你觉得一个式子应该把两个概率乘起来，又想知道总的信息量，那就取对数，把乘法变成加法。这个思维习惯能帮你快速判断一个计算对不对，也能帮你理解很多复杂公式的结构。
第三，做一两道编码题比看十页理论更有用。拿四个符号、六个符号自己设计一个分布，然后分别算自信息、熵、香农码长和平均码长，亲手算一遍就会明显感觉到信息量和事件概率的关系不是抽象定理，而是随时能落地计算的工具。我当年就是通过这个小练习彻底把相关知识串起来的，现在遇到压缩、特征选择、模型不确定性评估这类问题，第一反应还是去画概率分布、算熵和互信息，这套思维几乎成了本能。
