這篇文章需要上一篇文章的基礎。

順便一提，之前偶然翻了一下工科的機率論課本，發現中心極限定理的形式是

\lim_{n\to+\infty}\mathbb{P}\left\{\dfrac{\sum_{i=1}^{n}X_i-n\mu}{\sqrt{n}\sigma}\le x\right\}=\int_{-\infty}^{x}\dfrac{1}{\sqrt{2\pi}}{\rm{e}}^{-\frac{1}{2}t^2}{\rm{d}}t=\Phi(x).

雖然內容沒錯，但是形式也太醜了吧……並且也不方便深入的理解。如果知道了依分佈收斂的概念的話，上面的內容其實就是一個依分佈收斂而已。

對於隨機變數序列

\{X_n,n=1,2,\cdots\}

，我們在本文中介紹大數律。大數律又分為弱大數律和強大數律，分別對應著不同的收斂模式。

事實上，大數律是非常容易理解的。令人感到驚奇的是，在公理化機率論的體系下，這些看似是“人類的直覺”的內容，居然可以得到完美的證明。

本文內容

弱大數律

對弱大數律的初步研究

利用特徵函式研究弱大數律

強大數律

一、弱大數律

首先給出隨機變數序列服從弱大數律的定義。

定義1

設

\{X_n,n=1,2,\cdots\}

是機率空間

\{\Omega,{\mathscr{F}},{\mathbb{P}}\}

上的隨機變數，記

S_n=\displaystyle\sum_{k=1}^{n}X_k

，若存在實數序列

\{a_n,n=1,2,\cdots\}

，正數序列

\{b_n,n=1,2,\cdots\}

，使得

\dfrac{S_n-a_n}{b_n}\xrightarrow{p}0,

則稱

\{X_n\}

服從弱大數律

，其中

\{a_n\}

稱為中心化數列，

\{b_n\}

稱為正則化數列。若

X_n\in L_1,n=1,2,\cdots

，則通常取

a_n={\mathbb{E}} S_n

，

b_n=n,n=1,2,\cdots

。

需要注意的是，我們並不是說所有的隨機變數都服從弱大數律，只是在這裡給出了隨機變數“可能”滿足的一個性質。

1.1 對弱大數律的初步研究

為了證明一些常用的弱大數律相關的定理，在這裡需要先講一個著名的不等式。

命題1（Chebyshev不等式）

設

X

是機率空間

\{\Omega,{\mathscr{F}},{\mathbb{P}}\}

上的隨機變數，

g:[0,+\infty)\to[0,\infty)

單調遞增，若

g(|X|)\in L_1

，則對任意的使得

g(a)>0

的正數

a

，都有

{\mathbb{P}}\{|X|\geq a\}\le\dfrac{{\mathbb{E}} g(|X|)}{g(a)}.

該不等式的證明需要對隨機變數

|X|

作一個截斷，留給讀者思考。另外，Chebyshev不等式的兩種形式非常常見。若

X\in L_r

，取

g(x)=x^r

得

{\mathbb{P}}\{|X|\geq x\}\le\dfrac{{\mathbb{E}}|X|^r}{x^r},\quad\forall x>0;

特別地，如果對

X

進行中心化，並取

r=2

，可得

{\mathbb{P}}\{|X-{\mathbb{E}} X|\geq x\}\le\dfrac{{\rm{Var}} X}{x^2}.

藉助該不等式，可以得到兩個重要的定理

定理1（Markov弱大數律）

若

X_n\in L_2,n=1,2,\cdots

，

\displaystyle\lim_{n\to+\infty}\dfrac{{\rm{Var}} S_n}{n^2}=0

，則有

\dfrac{S_n-{\mathbb{E}} S_n}{n}\xrightarrow{p}0.

證明

對任意的

\varepsilon>0

，根據Chebyshev不等式得

{\mathbb{P}}\left\{\left|\dfrac{S_n-{\mathbb{E}} S_n}{n}\right|\geq \varepsilon\right\}={\mathbb{P}}\{|S_n-{\mathbb{E}} S_n|\geq n\varepsilon\}\le\dfrac{{\rm{Var}} X}{n^2\varepsilon^2}\to 0,

也即

\dfrac{S_n-{\mathbb{E}} S_n}{n}\xrightarrow{p}0

。

定理2（Chebyshev弱大數律）

若

\{X_n,n=1,2,\cdots\}

兩兩獨立，

X_n\in L_2,n=1,2,\cdots

，且存在

C>0

，使得

{\rm{Var}} X_n\le C

，則有

\dfrac{S_n-{\mathbb{E}} S_n}{n}\xrightarrow{p}0.

證明

根據

{\rm{Var}} X_n\le C

知

{\rm{Var}}S_n=\sum_{k=1}^{n}{\rm{Var}} X_k\le n C

，因此

\displaystyle\lim_{n\to+\infty}\dfrac{{\rm{Var}} S_n}{n^2}=0

，根據Markov弱大數律知

\dfrac{S_n-{\mathbb{E}} S_n}{n}\xrightarrow{p}0

。

1.2 利用特徵函式研究弱大數律

在上面的情況中，都要求隨機變數序列是二次可積的，這是一個比較強的要求。而特徵函式的引入，使得弱大數律的研究更加容易，也可以將隨機變數的要求放得更松。

首先，根據依機率收斂和依分佈收斂之間的關係，

\dfrac{S_n-{\mathbb{E}} S_n}{n}\xrightarrow{p}0

當且僅當

\dfrac{S_n-{\mathbb{E}} S_n}{n}\xrightarrow{d}0

，再依據連續性定理得到其等價命題為

\lim_{n\to+\infty}\mathbb{E}\exp \left\{it\cdot\dfrac{S_n-{\mathbb{E}} S_n}{n}\right\}\to 1,

從而，弱大數律的研究可以利用特徵函式的計算。

其次，我們還需要對隨機變數加一定的要求，一個很常用的要求就是“獨立同分布”，其含義是隨機變數序列

\{X_n,n=1,2,\cdots\}

是相互獨立的，並且滿足相同的分佈。通常，獨立同分布可以記作

\rm{i.i.d.}

。

在上面的鋪墊之後，我們給出Khinchin弱大數律的內容。

定理3（Khinchin弱大數律）

若

\{X_n,n=1,2,\cdots\}

{\rm{i.i.d.}}

，且

X_n\in L_1

，

{\mathbb{E}} X_n=a

，

n=1,2,\cdots

，則有

\dfrac{S_n-na}{n}\xrightarrow{p}0\quad\text{或}\quad\dfrac{S_n}{n}\xrightarrow{p}a.

證明

計算得

\begin{aligned} \mathbb{E}\exp \left\{it\cdot\dfrac{S_n-na}{n}\right\}&=\mathbb{E}\exp\left\{it\cdot\sum_{k=1}^{n}\dfrac{X_n-a}{n}\right\}\\ &=\left\{\mathbb{E}\exp\left\{it\cdot\dfrac{X_1-a}{n}\right\}\right\}^n\\ &=\left\{1+o\left(\dfrac{t^2}{n^2}\right)\right\}^n\\ &\to1, \end{aligned}

因此

\dfrac{S_n-na}{n}\xrightarrow{p}0

。

Khinchin弱大數律看似複雜，但是理解起來非常容易。

假設我們進行

n

次獨立重複實驗，比如測量某個人的身高，並將第

k

次測量的結果記作

X_k

，則

\{X_n,n=1,2,\cdots\}

獨立同分布。如果再進一步，有

X_k

的期望都存在的話，例如假設每次測量的期望就是身高的真實值

a

，則在經過了充分多次的測量之後，將測量的結果取平均，得到的結果就會接近真實值

a

。

二、強大數律

定義2

設

\{X_n,n=1,2,\cdots\}

是機率空間

\{\Omega,{\mathscr{F}},{\mathbb{P}}\}

上的隨機變數，記

S_n=\displaystyle\sum_{k=1}^{n}X_k

，若存在實數序列

\{a_n,n=1,2,\cdots\}

，正數序列

\{b_n,n=1,2,\cdots\}

，使得

\dfrac{S_n-a_n}{b_n}\to0,\quad{\rm{a.s.}},

則稱

\{X_n\}

服從強大數律

，其中

\{a_n\}

稱為中心化數列，

\{b_n\}

稱為正則化數列。

強大數律和弱大數律很像，只是收斂模式更強一些。同時，強大數律的研究相對比較複雜，在這裡直接列舉一些重要的結論。

首先是Khinchin弱大數律的一個推廣形式，被稱為Kolmogorov強大數律。需要注意的是，在機率空間中，幾乎必然收斂蘊含了依機率收斂，因此Kolmogorov強大數律蘊含了Khinchin弱大數律。

定理4（Kolmogorov強大數律）

若

\{X_n,n=1,2,\cdots\}

{\rm{i.i.d.}}

，則

\dfrac{S_n}{n}\to a,\quad{\rm{a.s.}}

當且僅當

X_n\in L_1

，

{\mathbb{E}} X_n=a

，

n=1,2,\cdots

。

另外，如果把條件變為

X_n\in L_r

，其中

0<r<2

，也會有類似的結論。

定理5（Marcinkiewicz強大數律）

若

\{X_n,n=1,2,\cdots\}

{\rm{i.i.d.}}

，則

\dfrac{S_n-na}{n^{\frac{1}{r}}}\to 0,\quad{\rm{a.s.}}

當且僅當

X_n\in L_r,n=1,2,\cdots

，且

a=\left\{\begin{aligned} &{\mathbb{E}} X_n,\quad &1\le r<2,\\ &\text{任意實數},\quad &0<r<1. \end{aligned}\right.

由於證明比較複雜，感興趣的讀者可以自行驗證或查閱文獻。