面向无线系统的信息论主线：熵、容量与编码

无线系统中有两类最基本的问题：一个信源究竟能压缩到什么程度，以及信息通过信道时，可靠传输速率最高能达到多少。信息论不直接指定波形、编码器或调度算法，而是给出这些设计无法绕开的理论边界。

这些概念之间有清楚的递进关系。熵衡量不确定性，互信息衡量一次观测消除了多少不确定性，对输入分布进行优化后得到信道容量，而编码则负责在有限分组长度和实际复杂度约束下逼近这些极限。

从不确定性到互信息

对于离散随机变量 $X$ 及其概率质量函数 $p(x)$ ，以 bit 为单位的熵定义为

H(X)=-\sum_{x}p(x)\log_2 p(x).

熵描述的是平均不确定性，并不意味着每个结果都携带相同的信息量。取值完全确定的信源熵为零；在给定的有限字母表上，均匀分布具有最大熵。若信源带有记忆，则应关注熵率，因为符号之间的相关性会减少每个新符号平均提供的信息。

已有信息会通过条件熵改变我们对随机变量的认识。链式法则给出

H(X,Y)=H(X)+H(Y\mid X), \qquad H(X\mid Y)\le H(X).

第二个不等式表达的是：对离散熵而言，增加条件不会提高平均不确定性。它不能被误读为 $H(X\mid Y)\le H(Y)$ 。观测前后不确定性的平均减少量由互信息表示：

I(X;Y)=H(X)-H(X\mid Y)=\sum_{x,y}p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)}.

互信息还等于联合分布与边缘分布乘积之间的 Kullback–Leibler 散度。KL 散度始终非负，但它不是距离：既不对称，也不满足三角不等式。

若 $X\to Y\to Z$ 构成马尔可夫链，则后续处理满足数据处理不等式：

I(X;Z)\le I(X;Y).

这意味着，若某些关于 $X$ 的信息原本不在 $Y$ 中，后续处理就无法凭空产生。不过，变换并非一定造成信息损失；只要它保留了 $Y$ 中所有与 $X$ 有关的部分，等号就可以成立。

对于平稳无记忆信源，无失真信源编码的平均描述速率可以逐步逼近熵：

R_{\mathrm{source}}\ge H(X).

在符号分布已知时，Huffman 编码在前缀码中达到最优；算术编码以及现代熵编码器则能借助更长的序列进一步逼近极限。信源编码定理给出的是渐近结果，实际系统还要承担有限分组、模型失配、成帧以及随机访问带来的额外开销。

有损压缩不再要求逐字节恢复原始数据，而是要求重构结果满足给定的失真度量。率失真函数寻找在平均失真约束下，信源与重构结果之间所需的最小互信息。因此，失真度量本身就是系统规格的一部分；数值误差小，并不代表感知质量或任务性能的损失一定小。

对于转移概率为 $p(y\mid x)$ 的无记忆信道，容量定义为

C=\max_{p(x)} I(X;Y).

容量取决于信道模型及其约束，而不是某个随意选择的输入分布。含噪信道编码定理表明：在相同模型下，当传输速率低于 $C$ 时，可以随着分组长度增加使误码概率趋近于零；高于 $C$ 时则无法实现可靠通信。这是一项存在性结论，并不保证某个有限长度的实用码能够做到零误码。

对于平均信号功率为 $P$ 、噪声方差为 $N$ 的实离散时间加性白高斯噪声信道，每个实信道使用的容量为

C=\frac{1}{2}\log_2\!\left(1+\frac{P}{N}\right).

再计入单位时间内可用的信号维度，就能得到常见的带宽表达式。这个公式说明，功率、带宽、编码率和时延之间虽可相互取舍，但所有取舍都受信道模型的假设限制。

多用户信道通常不能用一个容量数值概括，而要用容量区域描述。例如，双用户多址信道既约束每个用户各自的速率，也约束两者的总速率。把另一用户当作噪声可以作为接收策略，但连续干扰消除或联合译码可能实现这种简单策略无法达到的速率组合。

二元线性分组码把 $k$ 个信息比特映射为长度为 $n$ 的码字，码率为 $k/n$ 。校验矩阵 $H$ 通过下式刻画合法码字：

Hc^{\mathsf T}=0 \quad \text{over } \mathrm{GF}(2).

结构化冗余会降低原始码率，却使译码器能够根据含噪观测判断哪些码字更可能被发送。最小码距适合解释短代数码的有界距离译码；稀疏因子图支撑 LDPC 码的迭代译码；连续消除思想则构成 Polar 码的基础。现代无线标准会按业务需求选码，不存在对所有场景都占优的单一码族。

因此，编码实验不能只给出误码率曲线。分组长度、信息长度、译码算法、迭代次数或列表上限、调制方式、信道模型、时延以及每信息比特能量，都应一并说明。缺少这些条件时，两条曲线可能对应完全不同的工作点，直接比较并没有意义。

使用信息论分析一条无线链路时，可以依次完成以下工作：

最终得到的理论界既不是仿真结果，也不是产品指标。它更像一把标尺，用来区分哪些限制来自模型本身，哪些损失来自估计、信令、算法与具体实现。