参数估计

设总体X 的分布函数为F(x;\theta) （可以是多维的），其中\theta 是一个未知参数，X_1,X_2,...,X_n 是总体X 的一个样本，由样本构造一个适当的统计量\hat{\theta}(X_1,X_2,...,X_n) 为\theta 的估计量，通常记为\hat{\theta}=\hat{\theta}(X_1,X_2,...,X_n)

设总体X 的分布中有k 个未知参数\theta_1,...,\theta_k ，X_1,...,X_n 是来自总体X 的样本，且X 的原点矩存在，即E(X^l)(l=1,2,...,k) 存在，令样本矩=总体矩，则有\frac{1}{n}\sum_{i=1}^nX_i^l=E(X^l)(l=1,2,...,k) ，是包含k 个未知参数\theta_1,...,\theta_k 的k 个联立方程组，可解得\hat{\theta}_l=\hat{\theta}_l(X_1,X_2,...,X_n)(l=1,2,...,k) ，则\hat\theta_i 为\hat\theta 的矩估计量，\hat\theta_l(x_1,...,x_n) 为\theta_l 的矩估计值

对未知参数\theta 进行估计时，在该参数可坑的取值范围I 内选取，选取使样本获得观测值x_1,x_2,...,x_n 的概率最大的参数值\hat\theta 作为\theta 的估计，这样的选定最有利于样本观测值x_1,...,x_n 的出现

1、连续型

对于总体X 是连续型随机变量的情形，设其概率密度函数为f(x;\theta),\theta\in I 是连续或者分段连续的，则样本的似然函数为L(\theta)=L(x_1,x_2,...,x_n;\theta)=\prod_{i=1}^nf(x_i;\theta) ，若存在\hat\theta=\hat\theta(x_1,...,x_n)\in I ，使得L(\hat\theta)=\max_{\theta\in I}\prod_{i=1}^nf(x_i;\theta) ，则\hat\theta(X_1,...,X_n)=\arg\max_{\theta\in I}\prod_{i=1}^nf(x_i;\theta) 为\theta 的极大似然估计量

2、离散型

对于总体X 是离散型随机变量的情形，设其概率分布为P\{X=x\}=p(x;\theta),\theta\in I ，则样本的似然函数为L(\theta)=L(x_1,...,x_n;\theta)=\prod_{i=1}^np(x_i;\theta) ，若存在\hat\theta=\hat\theta(x_1,...,x_n)\in I ，使得L(\hat\theta)=\max_{\theta\in I}\prod_{i=1}^np(x_i;\theta) ，则\hat\theta(X_1,...,X_n)=\arg\max_{\theta\in I}\prod_{i=1}^np(x_i;\theta) 为\theta 的极大似然估计量

3、计算方法

1）写出样本的似然函数L(\theta)

2）对于可微部分，利用导数求L(\theta) 或\ln L(\theta) 的最大值

3）对于不可微部分，用图像或者定义法求最大值

4、性质

最大似然估计量具有对于单值可逆函数具有不变性

无偏性

对于参数\theta 的估计量\hat\theta(X_1,X_2,...,X_n) 对于一切n 以及\theta\in I ，有E\hat\theta=\theta ，则称\hat\theta 为\theta 的无偏估计量

有效性（最小方差性）

设\hat\theta_1(X_1,X_2,...,X_n),\hat\theta_2(X_1,X_2,...,X_n) 都是\theta 的无偏估计量，若D(\hat\theta_1)[InvalidCharacterError: "D(\HAT\THETA_2)<" did not match the Name production] ，则称\hat\theta_1 比\hat\theta_2 有效

一致性（相合性）

设\hat\theta=\hat\theta(X_1,X_2,...,X_n) 为参数\theta 的估计量，若对任意\varepsilon>0 ，有\lim_{n\to\infty}P\{|\hat\theta-\theta|<\varepsilon\}=1 ，则称\hat\theta 为\theta 的一致估计量（或相合估计量）

对于总体X 的一个未知参数\theta ，\alpha(0<\alpha<1) 是一个给定的正数，若由样本X_1,X_2,...,X_n 确定的两个统计量\hat\theta_1=\hat\theta_1(X_1,X_2,...,X_n),\hat\theta_2=\hat\theta_2(X_1,X_2,...,X_n) 满足P\{\hat\theta_1(X_1,...,X_n)<\theta<\hat\theta_2(X_1,...,X_n)\}=1-\alpha ，

则称随机区间(\hat\theta_1,\hat\theta_2) 是\theta 置信度为1-\alpha 的置信区间，\hat\theta_1,\hat\theta_2 分别称为\theta 的置信度为1-\alpha 的双侧置信区间的置信下限和置信上限，1-\alpha 称为置信度或者置信水平，\alpha 称为显著性水平

给定置信水平或者显著性水平，求位置的参数置信区间的问题，称为参数区间估计问题

正态总体均值的置信区间（置信水平为[InvalidCharacterError: "SP<" did not match the Name production] ）