统计推断之分布拟合检验

本文主要通过假设，去检验样本是否符合某个分布

• 什么是一般总体数学期望的假设检验？

  • 经常是面对一个随机变量，其满足的分布不清楚，此时对总体的未知参数的假设检验属于非正态总体假设检验，即一般总体的假设检验问题。在样本很大（一般 $n\geq30$, 最好 $n\geq50$ 或 $n\geq100$）, 可以使中心极限定理进行分析

• 什么是一个总体均值的大样本假设检验？

  • 已知一个总体的均值和方差分别为：$\mu,\sigma^2$ , 一个样本的均值和方差分别为：$\overline X,S^2$ , 当 n 充分大时，中心极限定理可知，$U_n=\frac{\overline X -\mu_0}{\sigma/\sqrt{n}}$ 近似服从标准正态分布 N (0,1)。所以这个问题可以使用―U 检验法进行分析。
  • 实际使用中，总体方差$\sigma^2$ 未知情况下，可使用样本方差$S^2$ 进行替代

• 什么是两个总体均值的大样本假设检验？

  • 两个总体的均值检验统计量可以构造如下，仍然使用 U 检验法进行检验

    $$U=\frac{\overline X -\overline Y}{\sqrt{S_1^2/n_1+S_2^2/n_2}} ~ N(0,1)$$

• 什么是假设检验问题的 p 值检验法？

  • 以上问题均属于临界值检验法 ，下面介绍 P 值检验法 ，所谓 P 值检验法就是由检验统计量的样本观察值得出的原假设可被拒绝的最小显著性水水平
  • 
  • 临界值法假设检验：使用显著性水平得到统计量的拒绝域，结合样本统计量的值进行统计推断
  • P 值法假设检验：由统计量得到 P 值，然后显著性水平进行比较得出统计推断

• 什么是分布拟合检验？

  • 实际问题中，首先要根据样本的观察结果对总体的分布类型进行检验。使用$\chi$ 检验，可以检验总体是否具有某个指定的分布或者某个分布簇。
  • 设总体的分布函数为$F(x)$,$F(x)$ 未知，$F_0(x)$ 为某一已知分布函数，考虑如下检验问题：$H_0:F(x)=F_0(x);H_1:F(x) \neq F_0(x)$，$F_0(x)$ 不含未知参数时，考虑如下
  • 对于随机变量 $X$, 将其分为 k 段互不相交的区间，分点依次记为 $a_0,a_1,a_2,….a_{k-1}$, 记 $A_i=\left\{a_{i-1} < X < a_i \right\}$。
  • 当$H_0$成立时，有：$P(A_i)=F_0(a_i)-F_0(a_{i-1})=p_i$, 含义是随机变量落在区间$A_i$的概率。假设区间$A_i$的长度是$n_i$, 在 n 次的随机实验中，当$H_0$成立且 n 足够大时，$n_i/n$ 是$p_i$的近似。
  • 构造统计量 1: 用于衡量样本与$H_0$假设分布的吻合程度 $\sum_{i=1}^kC_i(\frac {n_i} {n} -p_i)^2$
  • $C_i$ 为给定常数，皮尔逊证明，当$C_i$ 取$n/p_i$ 时，上面的式子可以变化如下$\chi^2=\sum_{i=1}^k\frac{n}{p_i}(\frac {n_i} {n} -p_i)^2=\sum_{i=1}^k\frac{(n_i-np_i)^2}{np_i}$
  • $F_0(x)$ 含有未知参数时，考虑：通过样本观察值 ，使用极大似然估计，求出$p_i$ 的估计值$\hat p_i=\hat P(A_i)$ , 再使用上述公式作统计量分析

• 什么是皮尔逊定理？

  • 若理论分布函数$F_0(x)$ 不含未知参数，则当$H_0$ 成立且 n 充分大是，统计量$\chi^2=\sum_{i=1}^k\frac{(n_i-np_i)^2}{np_i}$ 近似服从自由度为$k-1$ 的$\chi$ 分布；
  • 若理论分布函数$F_0(x)$ 含有未知参数，其未知参数个数为 r 时，统计量$\chi^2=\sum_{i=1}^k\frac{(n_i-np_i)^2}{np_i}$近似服从自由度为$k-r-1$ 的$\chi$ 分布
  • 从公式来看，$n_i$ 为区间 i 的实际频数，$np_i$ 是理论频数。则统计量的含义可写为$\chi^2=\sum_{i=1}^k\frac{(Actualfrequency-Theoreticalfrequency)^2}{Theoreticalfrequency}$
  • 给定显著性水平$\alpha$ ,$H_0$ 的否定域是$\chi^2>\chi_\alpha^2$ ，实际使用中，确保 n 足够大，$np_i$不能太小，一般是$n \geq 50,np_i \geq 5$, 如果$np_i$太小，可以进行合并

• 统计 200 天高速公路的车祸次数，得到下表信息试问，在显著性水平$\alpha=0.25$ 的情况下，是否认为 X 满足泊松分布？

  • 
  • 泊松分布含有未知参数$\lambda$ , 根据样本观察结合极大似然估计得

    $$\hat{\lambda}=\overline x=\frac {1} {200} \sum_{i=0}^4i*n_i=0.61$$

  • 提出假设：$H_0:X-P(0.61)$ , 若$H_0$ 为真时，总体分布律的估计形式

    $$\hat p_i=P(X=i)=\frac{0.61^i}{i!}e^{-0.61}$$

  • 因此，$\hat p_0=0.543，\hat p_1=0.331，\hat p_2=0.101，\hat p_3=0.021$，得$\hat p_{4}=1-p_{0,1,2,3}=0.004$，其$np_4=0.8 < 5$ 因此将$p_4$合并到$p_3$

    $$\chi^2=\sum_{i=1}^k\frac{(n_i-np_i)^2}{np_i}=0.3837$$

  • 合并后，k=4,r=1, 查表知：$\chi_{0.025}^2(4-1-1)=2.77$ , 即$\chi^2=0.03837<2.77$ , 不满足拒绝条件，即认为在显著性水平$\alpha=0.25$ 下，样本来自泊松分布