Mathful Review of Linear Model

市面上講線性模型/迴歸的書，大多從motivation到結構，

一股濃郁的計量經濟味兒撲面而來——我、不、喜、歡。

我決定自己寫個線性模型的review，希望過年前寫得完。【果然沒寫完】

本文預備知識：

（高等）數理統計、高等代數（矩陣論）

◆♡◆

上課的時候，我總覺得線性模型是高等代數版的數理統計，實則理解上出現了偏差——

與其說它是XX版的XXXX，毋寧說，它之於數理統計，相當於高等代數之於解析幾何。

廣泛些，將統計系的三門基礎課——線性模型、機率論、數理統計——與數學的三大分支對應，應是

「線模同代數，機率如分析，數統似幾何」

。

如果讓我寫本高代的書，我一定會最先從線性方程組到矩陣講起。

同理，如果寫一個線性模型的review，我必然會從迴歸方程組到隨機矩陣（向量）講起——從高斯馬爾科夫定理講起，到底什麼玩意兒……

好了，我開始講（zhuangbi）了。

1、隨機向量與隨機矩陣

1.1 引言

我們考慮多元迴歸方程組：

$\begin{equation} \left\{ \begin{array}{lr} {\rm y}_1=\beta_0+\beta_1{\rm x}_{11}+\cdot\cdot\cdot+\beta_p{\rm x}_{1p}+\epsilon_1 \\ {\rm y}_2=\beta_0+\beta_1{\rm x}_{21}+\cdot\cdot\cdot+\beta_p{\rm x}_{2p}+\epsilon_2\\ \vdots\\ {\rm y}_n=\beta_0+\beta_1{\rm x}_{n1}+\cdot\cdot\cdot+\beta_p{\rm x}_{np}+\epsilon_n \end{array} \right. \end{equation}$

這個方程組的通俗（不嚴謹）解釋是：

我們手上總共有n組樣本，每組樣本假定具有p個與響應變數相關的自變數，和一個常數項，外帶一丟丟誤差。

在高等代數中，多元線性方程組可以寫成矩陣形式，同樣的，多元迴歸方程組也可以寫成矩陣形式：

$\textbf{y}=\textbf{x}\pmb{\beta}+\pmb{\epsilon}$

其中，

$\textbf{y}=\left( \begin{matrix}\rm y_1\\\rm y_2\\\vdots\\{\rm y}_n\end{matrix}\right), \textbf{x}=\left( \begin{matrix}1&\rm x_{11}&\cdots &{\rm x}_{1p} \\1&\rm x_{21}&\cdots &x_{2p}\\\vdots&\vdots &\ddots&\vdots\\1&{\rm x}_{n1}&\cdots &{\rm x}_{np}\end{matrix}\right), \pmb{\beta}=\left( \begin{matrix}\beta_0 \\\beta_1\\\vdots\\\beta_p\end{matrix}\right),\pmb{\epsilon}=\left( \begin{matrix}\epsilon_1\\\epsilon_2\\\vdots\\\epsilon_n\end{matrix}\right)$

有時，我們用

$\textbf x_i$

來表示矩陣

$\textbf{x}$

的第i個行向量

$\begin{matrix}(1&{\rm x}_{11}&\cdots&{\rm x}_{1p})\end{matrix}$

。故，線性迴歸方程（組）又可表為：

${\rm y}_i=\textbf x_{i}\pmb{\beta}+\epsilon_i$

1.2 均值、方差、協方差和相關係數

假設我們熟知數理統計中的那一套對隨機變數的均值、方法、協方差和相關係數的定義。

1.2.1 均值向量

設

$\textbf y$

為

$n\times1$

隨機向量，i。e。

$\textbf{y}=\left( \begin{matrix}\rm y_1\\\rm y_2\\\vdots\\{\rm y}_n\end{matrix}\right)$

，則

$\mathbb{E}({\textbf y})=\mathbb{E}\left( \begin{matrix}\rm y_1\\\rm y_2\\\vdots\\{\rm y}_n\end{matrix}\right)=\left( \begin{matrix}\mathbb{E}(\rm y_1)\\\mathbb{E}(\rm y_2)\\\vdots\\\mathbb{E}({\rm y}_n)\end{matrix}\right)=\left( \begin{matrix}\mu_1\\\mu_2\\\vdots\\\mu_n\end{matrix}\right)=\pmb{\mu}$

由向量的加法和期望的性質可知，對

$n\times1$

隨機向量

$\textbf{a},\textbf{b}$

有

$\mathbb{E}(\textbf{a}+\textbf{b})=\mathbb{E}(\textbf{a})+\mathbb{E}(\textbf{b})$

1.2.2 方差、協方差矩陣

假設

$\sigma^2_1,\cdots,\sigma^2_n$

為

${\rm y}_1,\cdots,{\rm y}_n$

的方差，

$\sigma_{ij}$

表示

${\rm y}_i,{\rm y}_j,i\ne j$

的協方差。

則協方差矩陣

$\pmb{\Sigma}={\rm cov}(\textbf{y}) =\left( \begin{matrix}\sigma_{11}&\sigma_{12}&\cdots &\sigma_{1n} \\\sigma_{21}&\sigma_{22}&\cdots &\sigma_{2n}\\\vdots&\vdots &\ddots&\vdots\\\sigma_{n1}&\sigma_{n2}&\cdots &\sigma_{nn}\end{matrix}\right) \\=\left( \begin{matrix}\rm cov(y_1,y_1)&\rm cov(y_1,y_2)&\cdots &{\rm cov}({\rm y}_1,{\rm y}_n) \\\rm cov(y_2,y_1)&\rm cov(y_2,y_2)&\cdots &{\rm cov}({\rm y}_2,{\rm y}_n)\\\vdots&\vdots &\ddots&\vdots\\\rm cov(y_n,y_1)&\rm cov(y_n,y_2)&\cdots &{\rm cov}({\rm y}_n,{\rm y}_n)\end{matrix}\right) \\=\left( \begin{matrix}\mathbb{E}({\rm y}_1{\rm y}_1)-\mu_1\mu_1&\mathbb{E}({\rm y}_1{\rm y}_2)-\mu_1\mu_2&\cdots &\mathbb{E}({\rm y}_1{\rm y}_n)-\mu_1\mu_n \\\mathbb{E}({\rm y}_2{\rm y}_1)-\mu_2\mu_1&\mathbb{E}({\rm y}_2{\rm y}_2)-\mu_2\mu_2&\cdots &\mathbb{E}({\rm y}_2{\rm y}_n)-\mu_2\mu_n \\\vdots&\vdots &\ddots&\vdots \\\mathbb{E}({\rm y}_n{\rm y}_1)-\mu_n\mu_1&\mathbb{E}({\rm y}_n{\rm y}_2)-\mu_1\mu_2&\cdots &\mathbb{E}({\rm y}_n{\rm y}_n)-\mu_n\mu_n\end{matrix}\right) =\left( \begin{matrix}\mathbb{E}({\rm y}_1{\rm y}_1)&\mathbb{E}({\rm y}_1{\rm y}_2)&\cdots &\mathbb{E}({\rm y}_1{\rm y}_n) \\\mathbb{E}({\rm y}_2{\rm y}_1)&\mathbb{E}({\rm y}_2{\rm y}_2)&\cdots &\mathbb{E}({\rm y}_2{\rm y}_n) \\\vdots&\vdots &\ddots&\vdots \\\mathbb{E}({\rm y}_n{\rm y}_1)&\mathbb{E}({\rm y}_n{\rm y}_2)&\cdots &\mathbb{E}({\rm y}_n{\rm y}_n)\end{matrix}\right)-\left( \begin{matrix}\mu_1\mu_1&\mu_1\mu_2&\cdots &\mu_1\mu_n) \\\mu_2\mu_1&\mu_2\mu_2&\cdots &\mu_2\mu_n \\\vdots&\vdots &\ddots&\vdots \\\mu_n\mu_1&\mu_1\mu_2&\cdots &\mu_n\mu_n\end{matrix}\right)=\mathbb{E}(\textbf{yy}^T)-\pmb{\mu\mu}^T \\=\left( \begin{matrix}\mathbb{E}(({\rm y}_1-\mu_1)^2)& \mathbb{E}(({\rm y}_1-\mu_1)({\rm y}_2-\mu_2))&\cdots &\mathbb{E}(({\rm y}_1-\mu_1)({\rm y}_n-\mu_n)) \\\mathbb{E}(({\rm y}_2-\mu_2) ({\rm y}_1-\mu_1))& \mathbb{E}(({\rm y}_2-\mu_2)^2)&\cdots &\mathbb{E}(({\rm y}_2-\mu_2)({\rm y}_n-\mu_n)) \\\vdots&\vdots &\ddots&\vdots \\\mathbb{E}(({\rm y}_n-\mu_n) ({\rm y}_1-\mu_1))& \mathbb{E}(({\rm y}_n-\mu_n) ({\rm y}_2-\mu_2))&\cdots &\mathbb{E}(({\rm y}_n-\mu_n)^2) \end{matrix}\right)=\mathbb{E}\left( \begin{matrix} ({\rm y}_1-\mu_1)^2& ({\rm y}_1-\mu_1)({\rm y}_2-\mu_2)&\cdots &({\rm y}_1-\mu_1)({\rm y}_n-\mu_n) \\({\rm y}_2-\mu_2) ({\rm y}_1-\mu_1)& ({\rm y}_2-\mu_2)^2&\cdots &({\rm y}_2-\mu_2)({\rm y}_n-\mu_n) \\\vdots&\vdots &\ddots&\vdots \\({\rm y}_n-\mu_n)({\rm y}_1-\mu_1)&({\rm y}_n-\mu_n)({\rm y}_2-\mu_2)&\cdots &({\rm y}_n-\mu_n)^2\end{matrix}\right)=\mathbb{E}\left(\left(\begin{matrix}{\rm y}_1-\mu_1\\{\rm y}_2-\mu_2\\\vdots\\{\rm y}_n-\mu_n\end{matrix}\right)\left(\begin{matrix}{\rm y}_1-\mu_1&{\rm y}_2-\mu_2&\cdots&{\rm y}_n-\mu_n\end{matrix}\right)\right)=\mathbb{E}((\textbf{y}-\pmb{\mu})(\textbf{y}-\pmb{\mu})^T)$

即：

$\pmb{\Sigma}={\rm cov}(\textbf{y})=\mathbb{E}((\textbf{y}-\pmb{\mu})(\textbf{y}-\pmb{\mu})^T)=\mathbb{E}(\textbf{yy}^T)-\pmb{\mu\mu}^T$

廣義方差(Generalized Variance)

：隨機向量

$\textbf{y}$

的廣義方差為其協方差陣的行列式。

$GVar(\textbf{y})=\det(\pmb{\Sigma})=\left| \pmb{\Sigma} \right|$

Standard Distance

：也稱為Mahalanobis Distance

$D_s=(\textbf{y}-\pmb{\mu})^T\pmb{\Sigma}^{-1}(\textbf{y}-\pmb{\mu})$

當

$\pmb{\Sigma}$

為單位陣時，為歐幾里得距離。

1.2.3 相關係數矩陣

$\pmb{P}_\rho=\left(\begin{matrix}1&\rho_{12}&\cdots&\rho_{1n} \\\rho_{21}&1&\cdots&\rho_{1n} \\\vdots&\vdots&\ddots&\vdots \\\rho_{n1}&\rho_{n2}&\cdots&1 \end{matrix}\right)$

其中，

$\rho_{ij}=\sigma_{ij}/\sigma_i\sigma_j$

為

${\rm y}_i,{\rm y}_j$

的相關係數。

令

$\pmb{D}_\sigma=({\rm diag}(\pmb{\Sigma}))^{1/2}={\rm diag}(\sigma_1,\sigma_2,\cdots,\sigma_n)$

，有

$\pmb{P}_\rho=\pmb{D}_\sigma^{-1}\pmb{\Sigma}\pmb{D}_\sigma^{-1} \\\pmb{\Sigma}=\pmb{D}_\sigma\pmb{P}_\rho\pmb{D}_\sigma$

1.3 分塊隨機向量

分塊矩陣（向量）的結論，放到隨機矩陣（向量）中，也make sense。

A simple example：

Suppose that the random vector

$\textbf{v}$

is partitioned into two subsets of variables， which we denote by

$\textbf{y}$

and

$\textbf{x}$

：

$\textbf{v}=\left(\begin{matrix}\textbf{y}\\\textbf{x}\end{matrix}\right)=\left(\begin{matrix}{\rm y}_1\\\vdots\\{\rm y}_n\\{\rm x}_1\\\vdots\\{\rm x}_m\end{matrix}\right)$

Thus there are n+m random variables in

$\textbf{v}$

。

$\pmb{\mu}=\mathbb{E}(\textbf{v})=\mathbb{E}\left(\left(\begin{matrix}\textbf{y}\\\textbf{x}\end{matrix}\right)\right)=\left(\begin{matrix}\mathbb{E}(\textbf{y})\\\mathbb{E}(\textbf{x})\end{matrix}\right)=\left(\begin{matrix}\pmb{\mu}_{\rm y}\\\pmb{\mu}_{\rm x}\end{matrix}\right) \\ \pmb{\Sigma}={\rm cov}(\textbf{v})={\rm cov}\left(\left(\begin{matrix}\textbf{y}\\\textbf{x}\end{matrix}\right)\right)=\left(\begin{matrix}\pmb{\Sigma}_{\rm yy}&\pmb{\Sigma}_{\rm yx}\\\pmb{\Sigma}_{\rm xy}&\pmb{\Sigma}_{\rm xx}\end{matrix}\right)$

由協方差性質可知，

$\pmb{\Sigma}_{\rm xy}=\pmb{\Sigma}_{\rm yx}^T$

由分塊矩陣的性質也可知：

$\pmb{\Sigma}_{\rm yx}={\rm cov}(\textbf{y},\textbf{x})=\mathbb{E}((\textbf{y}-\pmb{\mu}_{\rm y})(\textbf{x}-\pmb{\mu}_{\rm x})^T)$

1.4 隨機向量的線性函式

我們時常需要考慮一些

隨機變數的線性組合

構成的新的

隨機變數

，為了方便，引入其向量表示。

${\rm z}=a_1{\rm y_1}+a_2{\rm y_2}+\cdots+a_n{\rm y_n}=\pmb{a}^T\textbf{y}$

當我們擁有一系列（k組）關於隨機變數y的線性組合時，

$\begin{equation} \left\{ \begin{array}{lr} {\rm z}_1=a_{11}{\rm y_1}+a_{12}{\rm y_2}+\cdots+a_{1n}{\rm y_n}=\pmb{a}_1^T\textbf{y} \\{\rm z}_2=a_{21}{\rm y_1}+a_{22}{\rm y_2}+\cdots+a_{2n}{\rm y_n}=\pmb{a}_2^T\textbf{y} \\\vdots \\{\rm z}_k=a_{k1}{\rm y_1}+a_{k2}{\rm y_2}+\cdots+a_{kn}{\rm y_n}=\pmb{a}_k^T\textbf{y} \end{array} \right. \end{equation}$

其中，

$\pmb{a}_i^T=(a_{i1},a_{i2},\cdots,a_{in}),\textbf{y}=({\rm y}_1,{\rm y}_2,\cdots,{\rm y}_n)^T$

就能得到一個k維隨機向量

$\textbf{z}=\textbf{Ay}$

其中，

$\textbf{z}=\left(\begin{matrix}{\rm z}_1\\{\rm z}_2\\\vdots\\{\rm z}_k\end{matrix}\right),\textbf{A}=\left(\begin{matrix}\pmb{a}_1^T\\\pmb{a}_2^T\\\vdots\\\pmb{a}_k^T\end{matrix}\right)=\left( \begin{matrix}a_{11}&a_{12}&\cdots &a_{1n} \\a_{21}&a_{22}&\cdots &a_{2n}\\\vdots&\vdots &\ddots&\vdots\\a_{k1}&a_{k2}&\cdots &a_{kn}\end{matrix}\right)$

由隨機變數的期望、方差、協方差性質，很容易推廣到隨機向量的同類性質。

$\mathbb{E}(\textbf{Ay}+\pmb{b})=\textbf{A}\mathbb{E}(\textbf{y})+\pmb{b} \\{\rm cov}(\textbf{z})={\rm cov}(\textbf{Ay})=\textbf{A}\pmb{\Sigma}\textbf{A}^T \\{\rm cov}(\textbf{z},\textbf{w})={\rm cov}(\textbf{Ay},\textbf{By})=\textbf{A}\pmb{\Sigma}\textbf{B}^T \\{\rm cov}(\textbf{Ay}+\pmb{b})=\textbf{A}\pmb{\Sigma}\textbf{A}^T \\{\rm cov}(\textbf{Ay},\textbf{Bx})=\textbf{A}\pmb{\Sigma}_{\rm yx}\textbf{B}^T$

最後一條性質，由分塊矩陣的性質可證。

令

$\textbf{v}=\left(\begin{matrix}\textbf{y}\\\textbf{x}\end{matrix}\right),\textbf{C}=\left(\begin{matrix}\textbf{A}&\textbf{0}\\\textbf{0}&\textbf{B}\end{matrix}\right)$

，求

${\rm cov}(\textbf{Cv})$

即可。

1.5 二次型

這裡我們僅在

特徵不為2的域

上討論。

按道理我應該展開一下為什麼又只考慮特徵不為2；要是是特徵為2，會發生什麼；如果不是2，而是其他素數，又有什麼結論……諸如此類。但展開有點大了，先略一下。但我有想過，

這的確是個蠻好玩的問題……

有興趣的讀者歡迎在我整理出一個note之前想想。

hint：可以朝獨立性——隨機向量的加法、乘法——角度考慮一下，看看是不是還能well defined.

有別的思路也請告訴我！我給你打電話~

定義1.6.1

設

$\textbf{y}=({\rm y}_1,\cdots,{\rm y}_n)^T$

為

$n\times1$

隨機向量，

$A=(a_{ij})$

為域

$\mathcal{F}$

上的

n階對稱方陣

（

），則

隨機變數、隨機變數、隨機變數

$Q(\textbf{y})=\textbf{y}^TA\textbf{y}$

稱為隨機向量

$\textbf{y}$

的二次型，也稱為列向量空間

$F^{(n)}$

上的二次型。

（並不）容易知道，從幾何直觀意義上，

一個n維隨機變數的分佈的形狀取決於一個二次型——Mahalanobis Distance

。對二次型的一些性質的研究，也可以移植到分佈理論中的研究。

$\mathbb{E}(\textbf{y})=\pmb{\mu},{\rm cov}(\textbf{y})=\pmb{\Sigma}\\\Rightarrow \mathbb{E}(\textbf{y}^TA\textbf{y})=\pmb{\mu}^TA\pmb{\mu}+{\rm tr}(A\pmb{\Sigma})\\$

2、分佈理論

有了隨機變數要去gang分佈這是必然的。

2.1 獨立性

俗話說，

是獨立性讓我們不同於那幫搞分析的。

所以先介紹獨立性。

2.1.1 二次型的獨立性

定理2.1.1.1

設

$X\sim N_n(\mu,\Sigma),\Sigma>0,A=A^T,B$

為

$n\times m$

矩陣。

$B^T\Sigma A=0\Leftrightarrow B^TX{\perp\!\!\!\perp}X^TAX$

證明：

$\Rightarrow$

：

設

${\rm rank}(A)=r,C=\Sigma^{1/2}A\Sigma^{1/2}\Rightarrow A=\Sigma^{-1/2}C\Sigma^{-1/2}.$

的所有非零特徵根所組成的對角陣為

$\Lambda_r$

。

由於

$A=A^T，\Sigma^T=\Sigma$

，故

$C^T=(\Sigma^{1/2})^TA^T(\Sigma^{1/2})^T=\Sigma^{1/2}A\Sigma^{1/2}=C$

因此，存在正交矩陣

$P^TCP=\left(\begin{matrix}\Lambda_r&0\\0&0\end{matrix}\right)$

。

若

$B^T\Sigma A=0$

，而

，則

$B^T\Sigma^{1/2} C=B^T\Sigma A\Sigma^{1/2}=0\\=B^T\Sigma^{1/2}P^TPC$

記

$D=B^T\Sigma^{1/2}P=\left(\begin{matrix}D_{11}&D_{12}\\D_{21}&D_{22}\end{matrix}\right)$

，則

$\left(\begin{matrix}D_{11}&D_{12}\\D_{21}&D_{22}\end{matrix}\right)\left(\begin{matrix}\Lambda_r&\pmb0\\\pmb0&\pmb0\end{matrix}\right)=B^T\Sigma^{1/2}PP^TCP=B^T\Sigma^{1/2}CP=\pmb0$

所以，

$D_{11}=D_{21}=\pmb0$

因此，有

$D=\left(\begin{matrix}\pmb0&D_{12}\\\pmb{0}&D_{22}\end{matrix}\right):=(\pmb0,D_2) \\\Rightarrow B^T=DP^T\Sigma^{-1/2}=(\pmb0,D_2)P^T\Sigma^{-1/2}$

令

$Y=P^T\Sigma^{-1/2}X=\left(\begin{matrix}Y_1\\Y_2\end{matrix}\right)$

，其中，

為

維隨機向量，則

$Y\sim N(P^T\Sigma^{-1/2}\mu,I_n),X=P\Sigma^{1/2}Y$

，有

$Y_1{\perp\!\!\!\perp}Y_2$

。

因此，

$B^TX=(\pmb0,D_2)P^T\Sigma^{-1/2}X=D_2Y_2 \\X^TAX=X^T\Sigma^{-1/2}C\Sigma^{-1/2}X=X^T\Sigma^{-1/2}PP^TCPP^T\Sigma^{-1/2}X\\=Y^TP^TCPY=\left(\begin{matrix}Y_1&Y_2\end{matrix}\right)\left(\begin{matrix}\Lambda_r&0\\0&0\end{matrix}\right)\left(\begin{matrix}Y_1\\Y_2\end{matrix}\right)=Y_1^T\Lambda_rY_1$

所以，

$B^TX{\perp\!\!\!\perp}X^TAX$

$\Leftarrow$

：

若

$B^TX{\perp\!\!\!\perp}X^TAX$

，則

$\rm cov(B^TX,X^TAX)=\pmb 0 \\\Rightarrow 2B^T\Sigma A\mu=0$

對任意

$\mu$

均成立，則

$B^T\Sigma A=\pmb 0$

2.1.2 Cochran定理

設n維隨機向量

服從正態分佈

$N_n(0,\sigma^2I_n)$

。

$X=\left(\begin{matrix}X_1\\X_2\\\vdots\\X_n\end{matrix}\right)$

，

$X_1,\cdots,X_n\overset{\text{i.i.d.}}\sim N(0,\sigma^2)$

存在矩陣

$A_1,\cdots ,A_k,\sum_{i=1}^kA_i=I_n，\text{rank}(A_i)=n_i$

，設

$Q_i=X^TA_iX, i=1,\cdots,k$

。則有：

$Q_1,\cdots,Q_k$

相互獨立且

$Q_i\sim\chi^2(n_i),i=1,\cdots,k\Leftrightarrow\sum_{i=1}^kn_i=n$

證明：

$\Rightarrow$

：不妨設

$\sigma^2=1$

，否則，令

$Y_i=X_i/\sigma$

，此時，

$Y_1,\cdots ,Y_n\overset{\text{i.i.d.}}\sim N(0,1)$

那麼，

$Q_i=X^TA_iX\sim\chi^2(n_i)$

，

$Q_1,\cdots,Q_k$

相互獨立，

$i=1,\cdots,k$

。

由

$\chi^2$

分佈的可加性，

$\sum_{i=1}^kQ_i\sim\chi^2(n)$

，即：

$\sum_{i=1}^kn_i=n$

$\Leftarrow$

：

【打TeX好累，先略。漢化版的證明是能隨手找到的。】

2.2 聯合分佈、邊緣分佈、條件分佈

略。

注意三者定義即可。

2.3 （多元）正態分佈

正態分佈是高斯所有工作中應用最廣泛的，瞭解一下。

線性模型中，我們從gaussian assumetion談起。

最簡單的當然是：考慮線性模型

$\textbf{y}=\textbf{x}\pmb{\beta}+\pmb{\epsilon}$

令誤差向量

$\pmb{\epsilon}\sim N(0,I_n)$

，由於正態分佈的任意線性組合/線性分量的

邊緣分佈

仍然服從正態分佈，因此，觀測值向量

$\textbf{y}$

也服從正態分佈。

下面，我們就（以矩陣/向量的寫法）證明這件事。

定理2.1.1

$\textbf{x}$

為

$n\times1$

隨機向量，並服從

$N_n(\pmb{\mu},\pmb{\Sigma})$

，

$\pmb{a}$

為

$n\times1$

常數向量，

為任意

$k\times n$

常數陣，

$k\le n$

。

則

$z=\pmb{a}^T\textbf{y}\sim N(\pmb{a}^T\pmb{\mu},\pmb{a}^T\pmb{\Sigma a}),\pmb{z}=\pmb{A}^T\textbf{y}\sim N(\pmb{A}^T\pmb{\mu},\pmb{A}^T\pmb{\Sigma A})$

簡證：使用矩母函式即可。

定理2.1.2

若隨機向量

$\textbf{x}\sim N_n(\pmb{\mu},\pmb{\Sigma})$

，則

$\textbf{x}$

的分塊子向量也服從正態分佈。

證明：不失一般性，令

$\textbf{x}=\left(\begin{matrix}\textbf{x}_1\\\textbf{x}_2\end{matrix}\right),\pmb{\mu}=\left(\begin{matrix}\pmb{\mu}_1\\\pmb{\mu}_2\end{matrix}\right),\pmb{\Sigma}=\left(\begin{matrix}\pmb{\Sigma}_{11}&\pmb{\Sigma}_{12}\\\pmb{\Sigma}_{21}&\pmb{\Sigma}_{21}\end{matrix}\right)$

設

$A=(I_r,\pmb{0})$

，則

$A\textbf{x}=\textbf{x}_1$

。

由定理2。1。1，則

$\textbf{x}_1\sim N_r(\pmb{\mu}_1,\pmb{\Sigma}_{11})$

。

2.4 抽樣分佈

主要有三大種，定理太長，不轉電子版了……掃描版等我有時間再發上來。

2.4.1

$\chi^2$

分佈

標準的卡方分佈可以看成正態隨機變數的平方和。

2.4.2 t分佈

正態隨機變數減去其樣本均值再除其樣本方差。

2.4.3 F分佈

卡方之比。

3、點估計

3.1 最小二乘法

3.2 廣義最小二乘法

3.3 最小二乘的幾何性質

3.4 極大似然估計

3.5 限制極大似然估計

3.6 最小范數二次估計

4、假設檢驗

4.1 線性假設的檢驗

4.1.1

$\chi^2$

檢驗

4.1.2 t檢驗

4.1.3 F檢驗

4.2 Likelihood Ratio Test

5、區間估計

5.1 置信橢球

5.2 同時置信區間

5.3 預測

6、方差分析

6.1 One-way ANOVA

6.2 Two-way ANOVA

6.3 誤差方差齊性與正態性檢驗

7、協方差分析模型

7.1 引數估計

7.2 假設檢驗

8、Linear Mixed Model

8.1 引數估計

8.2 假設檢驗

9、資料分析

9.1 模型選擇

9.2 模型擬合

9.3 模型診斷

Mathful Review of Linear Model

如何看待鹿晗吳亦凡黃子韜多次因三人關係上熱搜？

簡單易上手的日常眼妝（Ⅴ）——粉嫩桃花妝

隨便看看

惠陽淡水秋長有什麼比較好的廠嗎？

雪粳小町是什麼米？

哪些珊瑚不是保護動物？

也這樣造句一年級？

Mathful Review of Linear Model

如何看待鹿晗吳亦凡黃子韜多次因三人關係上熱搜？

簡單易上手的日常眼妝（Ⅴ）——粉嫩桃花妝

猜你喜歡

都說以史為鑑，歷史上發生過的事情真的能避免再次發生嗎？

在網上搖新車車牌號怎麼搖，需要什麼程式？

二次型合同標準型是指？

隨便看看

惠陽淡水秋長有什麼比較好的廠嗎？

雪粳小町是什麼米？

哪些珊瑚不是保護動物？

也這樣造句一年級？