信源编码定理

在信息论中，信源编码定理（或无噪声编码定理）确定了可能的数据压缩的限制，以及香农熵的操作意义。

源编码定理以克劳德·香农命名，它表明（在极限情况下，随着独立同分布随机变量 (i.i.d.) 数据流的长度趋于无穷大）不可能压缩数据使得码率 （每个符号的平均位数）小于源的 Shannon 熵，实际上不能确定信息会丢失。然而，有可能获得任意接近香农熵的码率，损失概率可以忽略不计。

符号代码的源编码定理在代码字的最小可能预期长度上设置了上限和下限，作为输入字（被视为随机变量）的熵和目标字母表大小的函数。

源编码是从信息源的（一系列）符号到一系列字母符号（通常是位）的映射，使得源符号可以从二进制位（无损源编码）中准确地恢复或在一定失真范围内恢复（ 有损源编码）。 这是数据压缩背后的概念。

给定 X 是 i.i.d. 源，它的时间序列 X1, …, Xn 是 i.i.d. 在离散值情况下具有熵 H(X)，在连续值情况下具有微分熵。 源编码定理指出，对于任何 ε > 0，即对于大于源熵的任何速率 H(X) + ε，都有足够大的 n 和一个采用 n i.i.d 的编码器。 重复源 X1:n，并将其映射到 n(H(X) + ε) 个二进制位，这样源符号 X1:n 可以从二进制位恢复，概率至少为 1 − ε。