大數定律是現代機率理論中重要的理論，也是連線機率理論與統計理論的重要橋樑。數學中以“定律”命名的理論不多，通常與實際應用有緊密聯絡。

大數定律描述了這樣一種現象：對於一個隨機變數序列

\left\{ X_n \right\}

（可以理解為無數個樣本），它的前

n

項平均值

A_n = \frac{X_1+X_2+\cdots+X_n}{n}

對於滿足若干條件的

\left\{ X_n \right\}

，當隨機變數數量

n

非常大時，它們的平均值將極有可能趨於定值

\mu

A_n\rightarrow\mu

這個定值

\mu

通常是

X_i

數學期望。

按收斂方式不同，大數定律分為強大數定律和弱大數定律。

強大數定律

當隨機變數序列的長度為無窮大時，它們的平均值必然趨於定值。我們稱這樣的隨機變數序列符合強大數定律。用數學語言來說就是

P\left\{ \lim_{n\rightarrow\infty} A_n-\mu=0 \right\} =1

其中

A_n

是隨機變數序列的前

n

項平均值（見前面）。

弱大數定律

當隨機變數的序列的長度為無窮大時，它們的平均值逼近定值的機率為將趨近於1。稱這樣的隨機變數序列符合弱大數定律。用數學語言表述為

\forall\varepsilon>0: \lim_{n\rightarrow\infty}P\left\{ \left| A_n-\mu \right| < \varepsilon \right\} = 1

區別和聯絡

強大數定律是容易理解的，它類似於數列極限的定義。而弱大數定律相對來說不容易理解，而且乍一看似乎跟強大數定律沒有什麼區別。實際上，這裡面涉及到對

極限

的理解。當我們說一個數列的極限為1時，只是說這個數列無限逼近於1，而不能保證數列等於1。例如數列

a_n=1-\frac{1}{n}

，它的極限為1，但他的每一項都不等於1。再如

b_n=1+\frac{1}{n}\sin\frac{n\pi}{2}

，它的極限為1，也確實存在無窮多個等於1的項，但是我們找不到一個

N

，使得

b_N

以後的每一項全部為1。

再回到弱大數定律，弱大數定律告訴我們，當隨機變數的數量

n

趨於無窮大時，它們的平均數

A_n

逼近定值

\mu

的機率趨近於1，但不一定等於1。也就是說，當

n

非常大時，

A_n

極有可能逼近於

\mu

，但也不能保證

A_n

必然逼近於

\mu

。

而強大數定律就不一樣了。強大數定律的機率P沒有被包裹在極限符號裡面，即不是

\lim_{\cdots} P\{\dots\}=1

而是

P\{\dots\}=1

，也就是“

A_n

必定趨近於

\mu

”。

如果能理解上面的話，也就能理解如果一個隨機變數序列符合強大數定律，那麼他一定也符合弱大數定律。因為當

P\{\dots\}=1

的時候，那麼

\lim_{\cdots} P\{\dots\}=1

當然也就成立。

下面在於幾個圖象來更形象的表示弱大數定律與強大數定律的區別。

強大數定律：

A_n

趨近於

\mu

強大數定律與弱大數定律

弱大數定律：不能保證

A_n

趨近於

\mu

，但隨著

n

的增大，

A_n

趨近於

\mu

的機率將增大。也就是說

A_n

偏離

\mu

的次數將越來越少，但無法保證它不偏離

\mu

。

強大數定律與弱大數定律

大數定律的一般化定義

滿足大數定律的隨機變數序列除了可以趨近於定值以外，還可以趨近於另一隨機變數

設有隨機變數序列

\left\{ X_n \right\}

和隨機變數

Y

，

（1） 稱

\left\{ X_n \right\}

依機率收斂於

Y

當且僅當

\forall \varepsilon>0: \lim_{n\rightarrow\infty}P\left\{ \omega\in\Omega : \left| X_n(\omega)-Y(\omega)\right| < \varepsilon \right\} =1

（2） 稱

\left\{ X_n \right\}

以機率

1

收斂於

Y

當且僅當

P\left\{ \omega\in\Omega : \lim_{n\rightarrow\infty} X_n(\omega)-Y(\omega) =0 \right\} =1

若

P\left\{ Y=\mu \right\} =1

，則為最常見的情況。

P。S。 林德伯格-萊維中心極限定理

設

\left\{X_n\right\}

各項獨立同分布，且具有有限的數學期望

\mu

和標準差

\sigma

，

A_n

是它的前n項平均值。另設

Y_n=\frac{A_n-\mu}{\frac{\sigma}{\sqrt{n}}}

則當

n\rightarrow\infty

時，

Y_n

的機率分佈將無限接近標準正態分佈

N(0,1^2)

。用數學語言描述之

\lim_{n\rightarrow\infty}F_{Y_n}(x) = \Phi(x)

即

\lim_{n\rightarrow\infty}P\left\{ \frac{A_n-\mu}{\frac{\sigma}{\sqrt{n}}} \leq x \right\} = \Phi(x)

中心極限定理看似複雜，其實也很容易理解。實際上E［An］=μ，D［An］=σ²/√n。所以這一定理的本質就是——獨立同分布且期望和方差分別存在的樣本，其平均值服從正態分佈。