东莞网站忧化,如何提高网站的安全性,如何让自己的网站被百度收录,江西建设安全网站Fisher信息阵实战#xff1a;如何用Python一步步推导CRLB的高斯分布公式 在参数估计的理论与实践中#xff0c;我们常常会遇到一个根本性的问题#xff1a;对于一个给定的统计模型#xff0c;我们所能达到的最佳估计精度究竟是多少#xff1f;这个问题并非空想#xff0c…Fisher信息阵实战如何用Python一步步推导CRLB的高斯分布公式在参数估计的理论与实践中我们常常会遇到一个根本性的问题对于一个给定的统计模型我们所能达到的最佳估计精度究竟是多少这个问题并非空想而是有着坚实的数学基础作为答案那就是克拉美-罗下界。它像物理学中的光速一样为估计器的性能设定了一个不可逾越的理论极限。然而理解这个抽象的数学概念并将其与具体的概率分布比如无处不在的高斯分布联系起来对于许多工程师和数据科学家来说仍然是一道门槛。公式推导固然严谨但若不能亲手“算”一遍总感觉隔着一层纱。本文的目的就是把这层纱彻底揭开。我们将完全从实践者的视角出发暂时放下厚重的数学教材转而打开你最熟悉的Python编程环境。我们将从高斯分布的概率密度函数开始一步步推导其对数似然函数计算得分函数最终构建出Fisher信息矩阵并验证其与克拉美-罗下界的关系。整个过程将伴随着可运行的代码你可以随时中断、检查中间变量、修改参数亲眼见证每一个数学符号如何转化为计算机内存中的数组和运算。这不仅仅是一次理论复习更是一次构建你个人“数学直觉”的动手实验。无论你是正在研究信号处理、机器学习中的参数估计还是单纯对统计推断的底层逻辑感到好奇这篇手把手的指南都将为你提供一条清晰、可复现的探索路径。1. 理论基石从高斯分布到似然函数在开始编码之前我们需要明确战场。我们考虑一个经典且极其重要的场景观测数据服从多元高斯分布。假设我们有一组独立同分布的观测样本x_1, x_2, ..., x_n它们都来自同一个多元高斯分布。该分布由均值向量μ和协方差矩阵Σ共同决定。在参数估计问题中μ和/或Σ的某些元素可能就是我们想要估计的未知参数θ。对于单个观测向量x假设为p维其概率密度函数为import numpy as np from scipy.stats import multivariate_normal import matplotlib.pyplot as plt # 定义高斯分布的参数 p 2 # 维度 mu_true np.array([1.0, 2.0]) # 真实的均值向量 Sigma_true np.array([[2.0, 0.5], [0.5, 1.0]]) # 真实的协方差矩阵 # 生成一个随机样本 rv multivariate_normal(meanmu_true, covSigma_true) x_sample rv.rvs(size1) print(f生成一个{p}维样本\n{x_sample})高斯分布的PDF公式是推导的起点 $$ p(\mathbf{x} | \boldsymbol{\mu}, \boldsymbol{\Sigma}) \frac{1}{(2\pi)^{p/2} |\boldsymbol{\Sigma}|^{1/2}} \exp\left( -\frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu}) \right) $$当我们拥有n个独立样本时联合似然函数L(θ; X)就是所有个体概率密度的乘积。然而乘积运算在数学上不如加法方便尤其是涉及到求导时。因此我们几乎总是转而处理对数似然函数ℓ(θ; X) log L(θ; X)。对于n个独立同分布的高斯样本其对数似然函数为$$ \ell(\boldsymbol{\mu}, \boldsymbol{\Sigma}; \mathbf{X}) -\frac{np}{2} \log(2\pi) - \frac{n}{2} \log |\boldsymbol{\Sigma}| - \frac{1}{2} \sum_{i1}^n (\mathbf{x}_i - \boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1} (\mathbf{x}_i - \boldsymbol{\mu}) $$注意这里我们假设待估参数θ同时包含μ和Σ中的未知元素。在实际问题中可能只估计其中之一另一个已知。我们的推导将保持一般性。让我们用Python代码来直观感受一下这个函数。假设我们只估计均值μ而协方差Σ已知。def log_likelihood_gaussian_mu(mu, X, Sigma): 计算已知协方差Sigma时关于均值mu的对数似然函数。 参数: mu: 待评估的均值向量 (p,) X: 观测数据矩阵 (n, p) Sigma: 已知的协方差矩阵 (p, p) 返回: 对数似然值 (标量) n, p X.shape # 常数项 const -n * p / 2 * np.log(2 * np.pi) - n / 2 * np.log(np.linalg.det(Sigma)) # 二次型求和项 Sigma_inv np.linalg.inv(Sigma) quad_sum 0 for i in range(n): diff X[i] - mu quad_sum diff.T Sigma_inv diff log_lik const - 0.5 * quad_sum return log_lik # 生成一些模拟数据 np.random.seed(42) n_samples 100 X_data rv.rvs(sizen_samples) # 从真实分布生成100个样本 # 评估不同mu值下的对数似然 mu_test np.array([0.5, 1.5]) ll_value log_likelihood_gaussian_mu(mu_test, X_data, Sigma_true) print(f当 mu {mu_test} 时对数似然值为: {ll_value:.4f}) # 计算最大似然估计MLE作为对比对于高斯分布μ的MLE就是样本均值 mu_mle np.mean(X_data, axis0) ll_mle log_likelihood_gaussian_mu(mu_mle, X_data, Sigma_true) print(f当 mu (MLE) {mu_mle} 时对数似然值为: {ll_mle:.4f})运行这段代码你会发现mu_mle对应的似然值确实更高因为对数似然是负的所以“更高”指负得少。这个直观感受很重要最大似然估计试图找到那个能让观测数据出现“概率”最大的参数值。而Fisher信息则关心这个“概率山峰”的陡峭程度——山峰越陡峭我们对参数位置的估计就越有把握方差的下界CRLB也就越小。2. 核心引擎得分函数与Fisher信息矩阵对数似然函数描述了参数与数据匹配的“好坏”。而得分函数Score Function则是这个“好坏”程度随参数变化的瞬时斜率即对数似然函数关于参数的一阶导数$$ \mathbf{s}(\boldsymbol{\theta}) \frac{\partial \ell(\boldsymbol{\theta}; \mathbf{X})}{\partial \boldsymbol{\theta}} $$对于高斯分布当我们把μ和Σ中的未知参数全部拼接成参数向量θ时得分函数s(θ)就是一个向量其每个分量对应一个参数的偏导数。Fisher信息矩阵I(θ)定义为得分函数协方差的期望也等于负的海森矩阵对数似然函数二阶导数的期望$$ \mathbf{I}(\boldsymbol{\theta}) \mathbb{E} \left[ \mathbf{s}(\boldsymbol{\theta}) \mathbf{s}(\boldsymbol{\theta})^T \right] -\mathbb{E}\left[ \frac{\partial^2 \ell(\boldsymbol{\theta}; \mathbf{X})}{\partial \boldsymbol{\theta} \partial \boldsymbol{\theta}^T} \right] $$提示第二个等式成立需要满足一定的正则条件如可交换积分与求导顺序对于指数族分布包括高斯分布通常是满足的。这个等式为我们计算Fisher信息提供了两种途径通过一阶导数的外积或通过二阶导数。让我们聚焦于一个更简单的场景来建立直觉估计一元高斯分布的均值μ已知方差σ^2 1。此时参数θ μ是标量。写出对数似然对于n个样本x_iℓ(μ) -n/2 log(2π) - 1/2 Σ (x_i - μ)^2。求一阶导数得分函数s(μ) dℓ/dμ Σ (x_i - μ)。求二阶导数d^2ℓ/dμ^2 -n。计算Fisher信息标量由于二阶导数是常数其期望就是它本身。所以I(μ) -E[d^2ℓ/dμ^2] n。由此克拉美-罗下界告诉我们任何无偏估计量μ̂的方差满足Var(μ̂) ≥ 1/I(μ) 1/n。而样本均值x̄的方差恰好是1/n因此样本均值在这个问题中是达到了CRLB的有效估计量。现在我们用Python将这个过程推广到多元情况并可视化得分函数。我们考虑估计二维高斯分布的均值向量μ [μ1, μ2]^T协方差矩阵Σ已知。def score_function_gaussian_mu(mu, X, Sigma): 计算高斯模型下关于均值参数mu的得分函数一阶导数向量。 参数: mu: 均值向量 (p,) X: 观测数据 (n, p) Sigma: 已知协方差矩阵 (p, p) 返回: 得分向量 (p,) n, p X.shape Sigma_inv np.linalg.inv(Sigma) score np.zeros(p) for i in range(n): score Sigma_inv (X[i] - mu) # 对于每个样本的贡献求和 return score def fisher_information_gaussian_mu(X, Sigma): 计算已知协方差下关于均值参数mu的Fisher信息矩阵。 通过负二阶导数的期望计算这里二阶导数是常数期望即本身。 参数: X: 观测数据 (n, p)用于确定样本量n Sigma: 已知协方差矩阵 (p, p) 返回: Fisher信息矩阵 (p, p) n, p X.shape Sigma_inv np.linalg.inv(Sigma) # Fisher信息矩阵 n * Sigma^{-1} FIM n * Sigma_inv return FIM # 计算在真实参数mu_true处的得分函数理论上期望应为0向量 score_at_true score_function_gaussian_mu(mu_true, X_data, Sigma_true) print(f在真实参数 mu_true 处的得分向量:\n{score_at_true}) print(f得分向量的范数接近0说明接近极值点: {np.linalg.norm(score_at_true):.6f}) # 计算Fisher信息矩阵 FIM fisher_information_gaussian_mu(X_data, Sigma_true) print(f\nFisher信息矩阵 (关于mu):\n{FIM}) # 计算CRLB矩阵即Fisher信息矩阵的逆 CRLB_matrix np.linalg.inv(FIM) print(f\n克拉美-罗下界 (CRLB) 矩阵:\n{CRLB_matrix}) print(f这意味着任何无偏估计量 mû 的协方差矩阵 Cov(mû) 应满足 Cov(mû) \n{CRLB_matrix} (半正定意义下)) # 验证样本均值估计量的协方差是否达到CRLB mu_hat np.mean(X_data, axis0) # 样本均值的理论协方差矩阵是 Sigma / n cov_mu_hat_theoretical Sigma_true / n_samples print(f\n样本均值估计量的理论协方差矩阵 (Sigma / n):\n{cov_mu_hat_theoretical}) print(f\nCRLB矩阵与样本均值理论协方差矩阵的差:\n{CRLB_matrix - cov_mu_hat_theoretical}) # 这个差应该是一个非常接近零的矩阵运行代码你会看到在真实参数附近得分函数的值很小随机波动。更重要的是计算出的CRLB_matrix与样本均值的理论协方差Sigma_true / n完全一致在数值精度内。这完美验证了我们的推导在估计高斯分布均值时样本均值估计量不仅是无偏的而且其协方差恰好达到了克拉美-罗下界因此它是“有效”的估计量。3. 深入矩阵微积分处理协方差未知的情况当协方差矩阵Σ中也包含未知参数时情况变得复杂起来。因为对数似然函数中同时包含|Σ|行列式和Σ^{-1}逆矩阵求导过程需要用到矩阵微积分。这正是原始资料中那些“性质”发挥作用的地方。让我们回顾一下关键的对数似然函数形式忽略常数项 $$ \ell(\boldsymbol{\mu}, \boldsymbol{\Sigma}) \propto -\frac{n}{2} \log |\boldsymbol{\Sigma}| - \frac{1}{2} \sum_{i1}^n (\mathbf{x}_i - \boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1} (\mathbf{x}_i - \boldsymbol{\mu}) $$假设现在我们只估计协方差矩阵Σ而均值μ已知例如为零。为了简化考虑Σ是对角矩阵diag(σ_1^2, σ_2^2, ..., σ_p^2)即各维度独立。此时参数向量θ [σ_1^2, σ_2^2, ..., σ_p^2]^T。我们需要计算对数似然关于每个σ_j^2的导数。这涉及到两个核心的矩阵求导公式对应原始资料中的性质2和性质3的标量特例行列式对数求导∂ log|Σ| / ∂ σ_j^2 1/σ_j^2对于对角阵。二次型求导∂ (z^T Σ^{-1} z) / ∂ σ_j^2 -z_j^2 / (σ_j^4)其中z x_i - μ。将这两部分组合并对所有样本求和我们可以得到关于σ_j^2的得分函数分量。进而我们可以计算Fisher信息矩阵。对于这个对角协方差的情况Fisher信息矩阵也是对角矩阵其第j个对角元素为n / (2σ_j^4)。这意味着估计方差σ_j^2的CRLB是2σ_j^4 / n。而样本方差s_j^2 (1/n) Σ (x_ij - μ_j)^2的方差当数据服从高斯分布时近似为2σ_j^4 / n对于大样本同样达到了下界。下面的代码演示了如何数值计算这种情况下的得分函数和Fisher信息矩阵并与理论值比较。def log_likelihood_gaussian_sigma2(sigma2_vec, X, mu): 计算已知均值mu时关于对角方差向量sigma2_vec的对数似然。 参数: sigma2_vec: 方差向量 (p,)每个元素0 X: 观测数据 (n, p) mu: 已知均值向量 (p,) 返回: 对数似然值 n, p X.shape # 构建对角协方差矩阵 Sigma np.diag(sigma2_vec) const -n * p / 2 * np.log(2 * np.pi) - n / 2 * np.log(np.prod(sigma2_vec)) quad_sum 0 for i in range(n): diff X[i] - mu # 对于对角矩阵二次型可以高效计算 quad_sum np.sum(diff**2 / sigma2_vec) return const - 0.5 * quad_sum def score_gaussian_diag_sigma2(sigma2_vec, X, mu): 计算对角协方差情况下关于方差参数sigma2_vec的得分函数。 参数同log_likelihood_gaussian_sigma2。 返回: 得分向量 (p,) n, p X.shape score np.zeros(p) for j in range(p): # 理论公式: s_j -n/(2*sigma2_j) (1/(2*sigma2_j^2)) * sum_i (x_ij - mu_j)^2 sum_sq_diff np.sum((X[:, j] - mu[j])**2) score[j] -n/(2*sigma2_vec[j]) sum_sq_diff/(2*sigma2_vec[j]**2) return score def fisher_info_diag_sigma2(sigma2_vec, n): 计算对角协方差情况下关于方差参数的理论Fisher信息矩阵对角阵。 参数: sigma2_vec: 真实的方差向量 (p,) n: 样本量 返回: Fisher信息矩阵 (p, p) p len(sigma2_vec) FIM np.diag(n / (2 * sigma2_vec**2)) return FIM # 假设真实均值为0生成数据 mu_known np.array([0.0, 0.0]) sigma2_true np.array([2.0, 1.0]) # 真实方差 Sigma_true_diag np.diag(sigma2_true) rv_diag multivariate_normal(meanmu_known, covSigma_true_diag) X_diag_data rv_diag.rvs(sizen_samples) # 在真实参数处计算得分 score_sigma2 score_gaussian_diag_sigma2(sigma2_true, X_diag_data, mu_known) print(f在真实方差参数处的得分向量: {score_sigma2}) # 计算理论Fisher信息矩阵和CRLB FIM_sigma2 fisher_info_diag_sigma2(sigma2_true, n_samples) CRLB_sigma2 np.linalg.inv(FIM_sigma2) # 由于是对角阵逆就是每个对角元素的倒数 print(f\n理论Fisher信息矩阵 (对角):\n{FIM_sigma2}) print(f\n理论CRLB矩阵 (对角):\n{CRLB_sigma2}) print(f即 Var(σ_j^2估计) {np.diag(CRLB_sigma2)}) # 计算样本方差作为估计量并近似其方差通过模拟 n_sim 10000 sigma2_hats np.zeros((n_sim, 2)) for i in range(n_sim): data_sim rv_diag.rvs(sizen_samples) sigma2_hats[i] np.var(data_sim, axis0, ddof0) # 使用MLE除n empirical_var np.var(sigma2_hats, axis0) print(f\n通过{ n_sim }次模拟样本方差估计量的经验方差: {empirical_var}) print(f理论CRLB: {np.diag(CRLB_sigma2)}) print(f经验方差与CRLB的接近程度验证了理论。)通过这个例子我们看到了当参数从简单的均值扩展到协方差时推导和计算变得更具挑战性但核心逻辑不变通过对数似然求导得到得分函数再通过期望运算得到Fisher信息矩阵。矩阵微积分的规则是处理这类问题的有力工具。4. 综合应用联合估计均值与协方差以及数值验证最一般的情况是同时估计均值向量μ和协方差矩阵Σ中的所有或部分未知参数。此时参数向量θ的维度可能很高。Fisher信息矩阵会变成一个分块矩阵左上块对应μ的参数右下块对应Σ的参数非对角块描述了这两组参数之间的信息关联。对于完整的多元高斯分布N(μ, Σ)其Fisher信息矩阵具有如下形式当我们将μ和Σ的独立元素向量化后参数块Fisher信息矩阵块维度均值μΣ^{-1}p × p协方差Σ(使用半向量化vech)(1/2) D_p^T (Σ^{-1} ⊗ Σ^{-1}) D_pp(p1)/2 × p(p1)/2交叉项0p × p(p1)/2注vech运算符将对称矩阵的下三角部分包括对角线堆叠成一个向量D_p是与之相关的重复矩阵Duplication matrix⊗表示Kronecker积。交叉项为0意味着在高斯分布中均值参数和协方差参数在Fisher信息意义下是正交的。这解释了一个现象对于高斯分布样本均值x̄和样本协方差矩阵S除n是相互独立的统计量。这个理论结果非常强大。我们可以通过数值模拟来验证它。我们将同时估计一个二维高斯分布的均值μ和协方差矩阵Σ假设其是满矩阵有3个独立参数σ_11, σ_22, σ_12。我们将通过两种方式计算Fisher信息矩阵基于观测数据的经验估计计算在参数估计值处的海森矩阵负二阶导数的数值近似然后取期望通过多次模拟平均。与理论公式对比。from scipy.optimize import approx_fprime import numdifftools as nd # 需要安装pip install numdifftools def pack_params(mu, Sigma): 将均值向量和协方差矩阵下三角包括对角线打包成一个参数向量。 p len(mu) # 提取Sigma的下三角部分包括对角线 tril_indices np.tril_indices(p) sigma_vec Sigma[tril_indices] return np.concatenate([mu, sigma_vec]) def unpack_params(theta, p): 从参数向量解包出均值向量和协方差矩阵。 mu theta[:p] sigma_vec theta[p:] # 重建对称协方差矩阵 Sigma np.zeros((p, p)) tril_indices np.tril_indices(p) Sigma[tril_indices] sigma_vec # 使矩阵对称 Sigma Sigma Sigma.T - np.diag(np.diag(Sigma)) return mu, Sigma def neg_log_likelihood(theta, X): 负对数似然函数用于优化。 n, p X.shape mu, Sigma unpack_params(theta, p) # 确保Sigma是正定的简单处理添加小扰动 try: L np.linalg.cholesky(Sigma) except np.linalg.LinAlgError: # 如果Sigma不是正定的返回一个很大的值 return 1e10 # 计算对数似然 Sigma_inv np.linalg.inv(Sigma) const -n * p / 2 * np.log(2 * np.pi) - n / 2 * np.log(np.linalg.det(Sigma)) quad_sum 0 for i in range(n): diff X[i] - mu quad_sum diff.T Sigma_inv diff return -(const - 0.5 * quad_sum) # 返回负值因为我们要最小化 # 生成一组数据 p 2 mu_true np.array([1.0, 2.0]) Sigma_true np.array([[2.0, 0.8], [0.8, 1.5]]) theta_true pack_params(mu_true, Sigma_true) np.random.seed(123) n_samples 500 X_joint multivariate_normal(meanmu_true, covSigma_true).rvs(n_samples) # 方法1使用最大似然估计作为参数点接近真实值 # 对于高斯分布MLE是样本均值和样本协方差除以n mu_hat np.mean(X_joint, axis0) Sigma_hat np.cov(X_joint, rowvarFalse, biasTrue) # biasTrue 表示除以n theta_hat pack_params(mu_hat, Sigma_hat) # 方法2数值计算在theta_hat处的海森矩阵负对数似然的二阶导数 def neg_ll_for_hess(theta): return neg_log_likelihood(theta, X_joint) # 使用numdifftools库精确计算海森矩阵 Hessian nd.Hessian(neg_ll_for_hess)(theta_hat) # Fisher信息矩阵是海森矩阵期望的负值。对于MLE估计值可以用观测到的海森矩阵近似。 FIM_numerical Hessian / n_samples # 注意我们的neg_log_likelihood已经包含了n个样本的和这里除以n得到平均每个样本的信息 print(通过数值海森矩阵计算得到的近似Fisher信息矩阵缩放后:) print(np.round(FIM_numerical, 4)) # 方法3计算理论Fisher信息矩阵分块对角形式 p 2 # 理论FIM关于mu的块 n * Sigma^{-1} FIM_mu n_samples * np.linalg.inv(Sigma_true) # 理论FIM关于Sigma的块对于vech(Sigma)。对于p2参数为 [sigma11, sigma21, sigma22] # 公式: 0.5 * D_2^T (Sigma^{-1} ⊗ Sigma^{-1}) D_2 Sigma_inv np.linalg.inv(Sigma_true) Kron np.kron(Sigma_inv, Sigma_inv) # 对于p2复制矩阵D_2 (3x4) 和它的转置可以简化计算。 # 实际上对于vech(Sigma)[s11, s21, s22]其FIM是一个3x3矩阵。 # 我们可以直接使用已知公式计算其元素。 # 定义设 Sigma_inv [[a, b], [c, d]]其中bc。 a, b, c, d Sigma_inv.flatten() # 理论结果FIM_Sigma (n/2) * [[2a^2, 2ab, b^2], # [2ab, a*db^2, b*d], # [b^2, 2bd, 2d^2]] # 参考M. J. Wichura, The Coordinate-Free Approach to Linear Models FIM_Sigma_theory np.array([[2*a*a, 2*a*b, b*b], [2*a*b, a*d b*b, b*d], [b*b, 2*b*d, 2*d*d]]) * (n_samples / 2) # 构建完整的理论FIM由于正交性交叉块为0 dim_mu p dim_sigma p*(p1)//2 FIM_theory_full np.zeros((dim_mudim_sigma, dim_mudim_sigma)) FIM_theory_full[:dim_mu, :dim_mu] FIM_mu FIM_theory_full[dim_mu:, dim_mu:] FIM_Sigma_theory print(\n理论推导的完整Fisher信息矩阵:) print(np.round(FIM_theory_full, 4)) # 比较数值结果与理论结果观察结构 print(\n数值FIM的左上角(2x2, mu块):) print(np.round(FIM_numerical[:2, :2], 4)) print(理论FIM的mu块:) print(np.round(FIM_mu, 4)) print(\n数值FIM的右下角(3x3, Sigma块):) print(np.round(FIM_numerical[2:, 2:], 4)) print(理论FIM的Sigma块:) print(np.round(FIM_Sigma_theory, 4)) print(\n数值FIM的右上角(2x3, 交叉块)理论上应为0:) print(np.round(FIM_numerical[:2, 2:], 4))运行这段代码你会发现数值计算得到的Fisher信息矩阵与理论公式高度吻合。数值矩阵的交叉块元素非常小接近零验证了均值参数与协方差参数在信息意义上的独立性。同时矩阵的主对角块也与理论推导一致。这个实验将抽象的矩阵公式与具体的数值计算联系起来让你对Fisher信息矩阵的结构有了更坚实的理解。最后让我们直观感受一下CRLB如何限制估计量的性能。我们通过蒙特卡洛模拟生成大量数据集分别用样本均值/样本协方差MLE和一个“差一些”的估计量比如收缩估计来估计参数并绘制它们估计误差的散点图与CRLB确定的置信椭圆进行比较。# 蒙特卡洛模拟比较MLE与一个收缩估计量的性能 n_mc 1000 # 蒙特卡洛实验次数 estimates_mle np.zeros((n_mc, dim_mudim_sigma)) estimates_shrink np.zeros((n_mc, dim_mudim_sigma)) for mc in range(n_mc): # 生成新数据 X_mc multivariate_normal(meanmu_true, covSigma_true).rvs(n_samples) # MLE估计 mu_mle_mc np.mean(X_mc, axis0) Sigma_mle_mc np.cov(X_mc, rowvarFalse, biasTrue) # MLE使用除以n estimates_mle[mc] pack_params(mu_mle_mc, Sigma_mle_mc) # 一个简单的收缩估计量向单位矩阵收缩 shrinkage 0.3 Sigma_shrink (1-shrinkage) * Sigma_mle_mc shrinkage * np.eye(p) * np.trace(Sigma_mle_mc)/p estimates_shrink[mc] pack_params(mu_mle_mc, Sigma_shrink) # 均值仍用MLE # 我们只关注前两个参数mu1, mu2的估计误差 error_mle estimates_mle[:, :2] - mu_true error_shrink estimates_shrink[:, :2] - mu_true # 注意收缩估计的均值部分没变所以误差相同这里仅示意流程 # 计算MLE误差的样本协方差矩阵 cov_error_mle np.cov(error_mle, rowvarFalse, ddof1) print(fMLE估计量对mu的误差样本协方差矩阵:\n{cov_error_mle}) print(f理论CRLB矩阵 (对mu):\n{CRLB_matrix}) # 使用第二节计算的CRLB_matrix注意样本量要匹配 print(f样本协方差与CRLB的差:\n{cov_error_mle - CRLB_matrix}) # 绘制误差散点图与CRLB确定的95%置信椭圆 from matplotlib.patches import Ellipse import matplotlib.transforms as transforms fig, ax plt.subplots(1, 1, figsize(8, 6)) ax.scatter(error_mle[:, 0], error_mle[:, 1], alpha0.6, s10, labelMLE估计误差) ax.axhline(y0, colork, linestyle--, linewidth0.5) ax.axvline(x0, colork, linestyle--, linewidth0.5) ax.set_xlabel(r$\mu_1$ 估计误差) ax.set_ylabel(r$\mu_2$ 估计误差) ax.set_title(估计误差散点图与CRLB置信椭圆 (95%)) ax.grid(True, alpha0.3) ax.legend() # 绘制基于CRLB的置信椭圆 # CRLB_matrix是理论下界我们用它来画椭圆。对于95%置信度卡方分布(2自由度的)分位数为5.991 chi2_val 5.991 # scipy.stats.chi2.ppf(0.95, df2) # 计算椭圆的半轴长度和旋转角度 lambda_, v np.linalg.eig(CRLB_matrix) angle np.degrees(np.arctan2(v[1, 0], v[0, 0])) width, height 2 * np.sqrt(chi2_val * lambda_) ellipse Ellipse(xy(0, 0), widthwidth, heightheight, angleangle, edgecolorr, fcNone, lw2, linestyle--, labelCRLB 95% 置信椭圆) ax.add_patch(ellipse) # 也可以绘制基于MLE误差样本协方差的椭圆应该比CRLB椭圆稍大或相当 lambda_emp, v_emp np.linalg.eig(cov_error_mle) angle_emp np.degrees(np.arctan2(v_emp[1, 0], v_emp[0, 0])) width_emp, height_emp 2 * np.sqrt(chi2_val * lambda_emp) ellipse_emp Ellipse(xy(0, 0), widthwidth_emp, heightheight_emp, angleangle_emp, edgecolorg, fcNone, lw2, linestyle:, labelMLE误差 95% 经验椭圆) ax.add_patch(ellipse_emp) ax.legend() plt.tight_layout() plt.show()生成的图表会显示MLE估计误差的散点基本落在红色虚线椭圆CRLB确定的边界内部或边缘而绿色虚线椭圆基于MLE误差样本协方差与之形状相似面积可能略大。这直观地展示了CRLB定义了一个理论上最优的误差分布区域任何无偏估计量的误差分布协方差都无法比这个区域更“紧凑”。MLE在这个例子中达到了这个边界因此是有效的。从一行行代码的编写到一个个矩阵的运算再到最终可视化结果的呈现我们完成了一次从理论公式到编程实践再到数值验证的完整闭环。Fisher信息矩阵和CRLB不再是教科书上冰冷的公式而是你可以计算、可以检验、可以直观感受的分析工具。当你下次在论文中看到“该估计量的方差接近CRLB”时希望你的脑海中能立刻浮现出这个误差椭圆并理解其背后严谨的统计逻辑和推导过程。这正是动手实践带给我们的深刻洞察力。