信息论

简介算法信息论 (AIT) 是理论计算机科学的一个分支，它关注计算与可计算生成对象（与随机生成对象相对）的信息之间的关系，例如字符串或任何其他数据结构。换...

简介在概率论和信息论中，两个随机变量的互信息（MI）是衡量两个变量之间相互依赖程度的指标。 更具体地说，它量化了通过观察另一个随机变量获得的关于一个随...

对数求和不等式对数和不等式用于证明信息论中的定理。概括不等式对 n = ∞ {displaystyle n=infty } 仍然有效，前提是 a <; ∞ {displaystyle a<infty } ...

法诺不等式在信息论中，法诺不等式将噪声通道中丢失的平均信息与分类错误的概率联系起来。 它是由罗伯特·法诺 (Robert Fano) 在 1950 年代初期在教授博士学位...

信道容量在电气工程、计算机科学和信息论中，信息量是信息在通信信道上可靠传输的速率的严格上限。根据噪声信道编码定理，给定信道的信道容量是在任意小的错...

分布的核嵌入在机器学习中，分布的核嵌入（也称为核均值或均值图）包括一类非参数方法，其中概率分布被表示为再现核希尔伯特空间（RKHS）的一个元素。作为经...