大数定律与中心极限定理

设随机变量X 的数学期望和方差存在，则对任意的\varepsilon>0 ，有P\{|X-EX|\ge\varepsilon\}\le\frac{DX}{\varepsilon^2}

证明：

DX=\int_{-\infty}^\infty(x-EX)^2dF(x)\ge\int_{|x-EX|\ge \varepsilon}(x-EX)^2dF(x)\ge\int_{|x-EX|\ge\varepsilon}\varepsilon^2dF(x)=\varepsilon^2P\{|X-EX|\ge\varepsilon\}

从而有P\{|X-EX|\ge\varepsilon\}\le\frac{DX}{\varepsilon^2}

n!=\sqrt{2\pi}n^{n+\frac{1}{2}}e^{-n}e^{\theta_n}(0<\theta_n<\frac{1}{12n},n\to\infty)

对于随机变量X 与随机变量序列\{X_n\}(n=1,2,...) ，如果对任意的\varepsilon>0 ，有\lim_{n\to\infty}P\{|X_n-X|\ge\varepsilon\}=0,\lim_{n\to\infty}P\{|X_n-X|<\varepsilon\}=1

假设\{X_n\}(n=1,2,...) 是独立的随机变量序列， 如果方差DX_i(i\ge1) 存在且一致有上界C ，则\{X_n\}(n=1,2,...) 服从大数定律\lim_{n\to\infty}P\{|\frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^nEX_i|<\varepsilon\}=1,\forall \varepsilon>0

证明：

1\ge P\{|\frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^nEX_i|<\varepsilon\}>1-\frac{\sum_{i=1}^nDX_i}{\varepsilon^2n^2}>1-\frac{C}{\varepsilon^2n} ，当n\to\infty 时P\{|\frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^nEX_i|<\varepsilon\}\to1

假设\mu_n 是n重伯努利实验中事件A发生的次数，每次实验中事件A发生的概率是p(0[InvalidCharacterError: "P<1)<" did not match the Name production] ，则\lim_{n\to\infty}P\{|\frac{\mu_n}{n}-p|<\varepsilon\}=1,\forall \varepsilon>0

证明：直接利用切比雪夫大数定律

假设\{X_n\} 是独立同分布的随机变量序列，如果EX_i=\mu(i=1,2,...) 存在，则\lim_{n\to\infty}P\{|\frac{1}{n}\sum_{i=1}^nX_i-\mu|<\varepsilon\}=1,\forall \varepsilon>0

（由于没有关于方差一致有界的条件，所以不能用切比雪夫大数定律来证明辛钦大数定律，需要考虑别的方法，如特征函数）

证明：

设X_i(i=1,2,...) 的特征函数为f(t) ，则\frac{1}{n}\sum_{i=1}^nX_i 的特征函数为\left[f\left(\frac{t}{n}\right)\right]^n ，\left[f\left(\frac{t}{n}\right)\right]^n=\left[1+ia\frac{t}{n}+o\left(\frac{t}{n}\right)\right]^n\rightarrow e^{iat}(n\to\infty) ，由特征函数的唯一性定理知其分布是退化分布，故\frac{1}{n}\sum_{i=1}^nX_i 依分布收敛于退化分布，又因依分布收敛于常数与依频率收敛于常数是等价的，故有\lim_{n\to\infty}P\{|\frac{1}{n}\sum_{i=1}^nX_i-\mu|<\varepsilon\}=1,\forall \varepsilon>0

考点：

1）切比雪夫大数定律要求：相互独立，方差一致有界（没有分布条件）

2）辛钦大数定律要求：相互独立，同分布，期望存在（没有方差条件）

假设\{X_n\} 是独立同分布的随机变量序列，如果EX_i=\mu,DX_i=\sigma^2>0(i=1,2,...) 存在，则\{X_n\} 服从中心极限定理，即对任意实数x ，有\lim_{n\to\infty}P\{\frac{\sum_{i=1}^nX_i-n\mu}{\sqrt n\sigma}\le x\}=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^xe^{-\frac{t^2}{2}}dt=\Phi(x) ，当n充分大的时候，有P\{a<\sum_{i=1}^nX_i[InvalidCharacterError: "B\}\APPROX\PHI(\FRAC{B-N\MU}{\SQRT" did not match the Name production]

假设随机变量Y_n\sim B(n,p)(0[InvalidCharacterError: "P<1,N\GE1)<" did not match the Name production] ，则对任意区间[a,b] ，有

1）（局部极限定理）当a\le x_k\equiv\frac{k-np}{\sqrt{npq}}\le b ，一致地有\lim_{n\to\infty}\frac{P\{\mu_n=k\}}{\frac{1}{\sqrt{npq}}\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}x_k^2}}=1

2）（积分极限定理）\lim_{n\to\infty}P\{a\le\frac{Y_n-np}{\sqrt{np(1-p)}}[InvalidCharacterError: "B\}=\FRAC{1}{\SQRT{2\PI}}\INT_A^BE^{-\FRAC{T^2}{2}}DT=\PHI(X)<" did not match the Name production]

证明：

证明列维-林德贝格定理即可

设随机变量X_i-\mu(i=1,2,...) 的特征函数为g(t) ，则\frac{X_i-\mu}{\sqrt n \sigma}(i=1,2,...) 的特征函数为g\left(\frac{t}{\sqrt n \sigma}\right) ，则\frac{\sum_{i=1}^nX_i-n\mu}{\sqrt n\sigma} 的特征函数为\left[g\left(\frac{t}{\sqrt n \sigma}\right)\right]^n ，而E(X_i-\mu)=0,D(X_i-\mu)=\sigma^2 ，故\left[g\left(\frac{t}{\sqrt n \sigma}\right)\right]^n=\left(1-\frac{1}{2n}t^2+o(t^2)\right)^n\rightarrow e^{-\frac{1}{2}t^2} ，是标准正态分布的特征函数，由特征函数的唯一性知，\frac{\sum_{i=1}^nX_i-n\mu}{\sqrt n\sigma} 的极限分布是标准正态分布，\frac{\sum_{i=1}^nX_i-n\mu}{\sqrt n\sigma} 依分布收敛于正态分布，即有\lim_{n\to\infty}P\{\frac{\sum_{i=1}^nX_i-n\mu}{\sqrt n\sigma}\le x\}=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^xe^{-\frac{t^2}{2}}dt=\Phi(x)

考点：条件是独立同分布，期望方差均存在