费希尔信息

在数理统计中,费希尔信息(有时简称为信息)是一种测量可观察随机变量 X 携带的关于对 X 建模的分布的未知参数 θ 的信息量的方法。形式上,它是方差 分数,或观察到的信息的期望值。

在贝叶斯统计中,后验模态的渐近分布取决于费希尔信息而不是先验(根据伯恩斯坦-冯米塞斯定理,拉普拉斯对指数族进行了预测)。 费希尔信息在xxx似然估计的渐近理论中的作用被统计学家罗纳德·费舍尔强调(继弗朗西斯·伊西德罗·埃奇沃斯的一些初步结果之后)。 费希尔信息也用于贝叶斯统计中使用的 Jeffreys 先验的计算。

费希尔信息矩阵用于计算与xxx似然估计相关联的协方差矩阵。 它还可以用于检验统计量的制定,例如 Wald 检验。

其似然函数服从移位不变性的科学性质的统计系统(物理、生物等)已被证明服从xxx费希尔信息。 xxx值的级别取决于系统约束的性质。

定义

费希尔信息是一种测量可观察随机变量 X {displaystyle X} 携带的关于未知参数 θ {displaystyle theta } 的信息量的方法,X {displaystyle X} 取决于。 令 f ( X ; θ ) {displaystyle f(X;theta )} 为 X {displaystyle X} 的概率密度函数(或概率质量函数),以 θ {displaystyle θ}。 它描述了我们观察到 X {displaystyle X} 给定已知值 θ {displaystyle theta } 的给定结果的概率。 如果 f {displaystyle f} 相对于 θ {displaystyle theta } 的变化有尖锐的峰值,很容易从数据中指出 θ {displaystyle theta } 的正确值,或者等价地 ,数据 X {displaystyle X} 提供了大量关于参数 θ {displaystyle theta } 的信息。 如果 f {displaystyle f} 平坦且展开,则需要 X {displaystyle X} 的许多样本来估计 θ {displaystyle theta } 的实际真实值,该值将使用 被抽样的整个人口。 这建议研究关于 θ {displaystyle theta } 的某种方差。

形式上,似然函数的自然对数关于 θ {displaystyle theta } 的偏导数称为分数。 在某些正则条件下,如果 θ {displaystyle theta } 是真实参数(即 X {displaystyle X} 实际上分布为 f ( X ; θ ) {displaystyle f(X;theta ) } ), 可以证明在真实参数值 θ {displaystyle theta } 下评估的分数的期望值(xxx时刻)

费希尔信息被定义为分数的方差:

费希尔信息

注意 0 ≤ I ( θ ) {displaystyle 0leq {mathcal {I}}(theta )} 。 携带高费希尔信息的随机变量意味着分数的xxx值通常很高。 费希尔信息不是特定观察的函数,因为随机变量 X 已被平均掉。

0

点评

点赞

相关文章