熵率

在概率的数学理论中，随机过程的熵率或源信息率，通俗地说，就是随机过程中平均信息的时间密度。 对于具有可数索引的随机过程，熵率 H ( X ) {\displaystyle H(X)} 是过程 X k

对于强平稳随机过程，H ( X ) = H ′ ( X ) {\displaystyle H(X)=H'(X)} 。 熵率可以被认为是随机源的一般属性； 这是渐近均分性质。 熵率可用于估计随机过程的复杂性。 它用于各种应用，从表征语言的复杂性、盲源分离，到优化量化器和数据压缩算法。 例如，xxx熵率准则可用于机器学习中的特征选择。

由于不可约、非周期和正循环的马尔可夫链定义的随机过程具有平稳分布，因此熵率与初始分布无关。

例如，对于定义在可数状态上的马尔可夫链 Y k {\displaystyle Y_{k}}，给定转移矩阵 P i j

其中 μ i {\displaystyle \mu _{i}} 是链的渐近分布。

这个定义的一个简单结果是 i.i.d. 随机过程的熵率与过程中任何单个成员的熵相同。