互信息

在概率论和信息论中，两个随机变量的互信息（MI）是衡量两个变量之间相互依赖程度的指标。 更具体地说，它量化了通过观察另一个随机变量获得的关于一个随机变量的信息量。 互信息的概念与随机变量的熵密切相关，这是信息论中的一个基本概念，用于量化随机变量中包含的预期信息量。

不限于实值随机变量和相关系数等线性相关性，MI 更通用， MI 是逐点互信息 (PMI) 的期望值。

请注意，根据 Kullback–Leibler 散度的性质，当联合分布与边际的乘积重合时

如果取自然对数，互信息的单位就是nat。 如果使用log base 2，则互信息的单位是shannon，也称为比特。 如果使用 log base 10，则互信息的单位是 hartley，也称为 ban 或 dit。

直观上，互信息衡量 X  和 Y共享的信息：它衡量了解其中一个变量在多大程度上减少了对另一个变量的不确定性。

互信息是联合分布中表达的内在依赖性的度量。