互信息量与离散平稳信源
本篇包含：第2章剩余2.5.3互信息量完整内容；第3章第一部分：离散平稳信源、N维序列信源、平均符号熵、极限熵
一、事件互信息量（瞬时互信息）
1.定义*
对于两个离散随机事件 x、y，观测接收事件 y后，能够消除的关于发送事件 x 的不确定性，称为事件互信息量。
它是两个单一具体事件之间的信息关联度量，属于微观瞬时信息量。
2. 概念补充**
**（1）. 自信息：**描述单个事件本身不确定性
**（2）. 条件自信息：**描述已知一个事件后另一个事件的剩余不确定性
**(3). 互信息：**描述两个事件互相贡献的有效信息
三者关系：
原有不确定度 − 剩余不确定度 = 获得的有效信息
3. 全套等价公式**
4. 精细取值性质**
5. 对称性性质
6. 经典例题巩固
二、平均互信息量
1. 定义
将所有事件对的瞬时互信息做统计平均（数学期望），得到平均互信息量。
它表征两个随机变量整体的平均信息传输量，是信道信息能力的核心宏观指标。
2. 区分易错
瞬时互信息：可正、可负、可0
平均互信息：恒 ≥ 0，绝对不为负数
3. 全套四大公式
4. 核心物理意义细化
三、熵不等式
1. 定义
信息观测、传输、处理不会增加信息不确定性，只会减少或保持不变。
2. 核心公式
三 离散信源及其信息测度
3.1 离散平稳信源
1. 定义
若离散信源任意n维联合概率分布仅与符号间隔有关，与时间起点无关，则称为离散平稳信源。
2. 平稳信源三大判定细节
一维概率：任意时刻符号概率完全相同
二维概率：仅和符号间隔有关，与起始时刻无关
高维概率：整体概率分布不随时间平移改变
3.1.1 N维平稳信源熵
1. 定义
N长符号序列整体的联合平均信息量，描述整条序列的总不确定度。
2. 公式
3. 关键知识点补充
有记忆信源 不能 使用 N.H(X) 计算总熵，因为符号之间存在相关性，总熵一定小于无记忆信源总熵。
3.1.2 平均符号熵
1. 定义
将N维序列总熵平均分配到每一个符号，消除序列长度影响，实现不同长度信源的统一对比。
2. 公式
3.1.3 平稳信源核心精细性质
1. 平均符号熵单调递减
平均信息熵单调递减
序列越长，相关性暴露越充分，单符号信息量越小。
2. 条件熵单调递减
随着已知符号增多，剩余符号不确定度持续降低。
3.1.4 极限熵
1. 标准定义
序列长度趋于无穷时，平均符号熵的极限值，代表信源真实、最低、可压缩的单符号信息量。
2. 公式
3. 总结
H 是信源真正的信息熵
一切信源压缩编码，目标都是无限逼近极限熵
相关性越强，极限熵越小，压缩空间越大
公式汇总
含义：利用联合概率、边缘概率计算两个具体事件之间互信息
本文仅为课程学习笔记，所有概念、史实、定义均整理自翟明岳《信息论基础》教材，仅用于个人学习交流，不用于商业用途。教材著作权归原作者及出版社所有。
