法诺不等式

在信息论中，法诺不等式将噪声通道中丢失的平均信息与分类错误的概率联系起来。 它是由罗伯特·法诺 (Robert Fano) 在 1950 年代初期在教授博士学位时推导出来的。 麻省理工学院信息论研讨会，后来记录在他 1961 年的教科书中。

它用于找到任何解码器错误概率的下限以及密度估计中极小极大风险的下限。

让随机变量 X {displaystyle X} 和 Y {displaystyle Y} 以联合概率 P ( x , y ) {displaystyle P(x,y)} 表示输入和输出消息。

是对应的二元熵。

定义一个指标随机变量 E {displaystyle E} ，它表示我们的估计 X ~ = f ( Y ) {displaystyle

设 X {displaystyle X} 是一个随机变量，其密度等于 r + 1 {displaystyle r+1} 个可能的密度 f 1 , … 。