联合熵

在信息论中，联合熵是与一组变量相关的不确定性的度量。

两个离散随机变量 X和 Y 与图像 X和 Y 定义为

（等式 1）

其中 x和 y 分别是 X 和 Y 的特定值，P ( x , y )是这些值一起出现的联合概率，P ( x , y ) log 2 ⁡ [ P ( x , y ) ] 如果 P ( x , y ) = 0 ，[P(x,y)]} 被定义为 0。

对于两个以上的随机变量 X 1 , . . . , X n 这扩展为

（等式 2）

其中 x 1 , . . . , x n是 X 1 , 的特定值。 . . , X n ，分别为 P ( x 1 , . . . , x n ) 是这些值一起出现的概率，P

条件熵的定义中使用了联合熵

H ( X | Y ) = H ( X , Y ) − H ( Y )

在量子信息论中，联合熵被推广为联合量子熵。

上述定义适用于离散随机变量，在连续随机变量的情况下同样有效。 离散联合熵的连续版本称为联合微分（或连续）熵。 设 X 和 Y 是具有联合概率密度函数 f ( x , y ) 的连续随机变量。 微分联合熵 h ( X , Y ) 定义为

（等式 3）

对于两个以上的连续随机变量 X 1 , . . . , X n 的定义概括为：

(等式4)

积分接管 f的支持。 有可能积分不存在，在这种情况下我们说微分熵没有定义。

在离散情况下，一组随机变量的联合微分熵小于或等于各个随机变量的熵之和：

h ( X 1 , X 2 , … , X n ) ≤ ∑ i = 1 n h ( X i )

以下链式规则适用于两个随机变量：

h ( X , Y ) = h ( X | Y ) + h ( Y )