Racty2017-02-05 20:33:51似然函式在形式上，其實就是樣本的聯合密度。
把x1，x2，x3，．．．．．，xn看作常數，而把待定引數θ0，θ2，．．．．．，θn看作 L 的自變數。
對連續型總體X 和 離散型隨機變數X，樣本的似然函式分別是機率密度 和 分佈率的連城形式。
極大似然估計法的基本思想：在OLS估計中，我們假定一個單一總體的引數是確定的。這個總體可以生成大量的隨機樣本，我們所用的樣本不過是其中的一個。總之，在假設的重複抽樣過程中會產生大量的樣本，因而可以產生總體引數的大量樣本估計值。
極大似然估計法（Maximum Likelihood Estimation，MLE）需要對隨機擾動項的分佈做出假定，通常選擇正態分佈假定。在極大似然估計中，假定樣本是固定的，竹個觀測值都是獨立觀測的，這個樣本可由各種不同的總體生成，而每個樣本總體都有自己的引數。那麼在可供選擇的總體中，哪個總體最可能生成所觀測到的n個樣本值？ 為此需要估計每個可能總體取得這n個觀測值的聯合機率，選擇其引數能使觀測樣本的聯合機率最大的那個總體。
最大似然法，在二十世紀二十年代初，由費歇（R，A，Fisher l890—1962）發明的最大似然法（maximum likelihood method）是在所有估計問題中應用範圍最廣，並且可以從理論上證明由此得到的估計量具有幾個理想的特性的方法（ 見下面說明）。它可以說是統計估計理論上劃時代的發現之一。設總體的機率模型為F（x|θ）。為了說明的方便，暫假定只有一個未知引數，X1，X2，……，Xn是容量為 n 的隨機樣本（大寫X），實際觀測到的樣本觀測值（小寫x）為 Xl=x1，X2=x2，……，Xn=xn 。把同各Xi對應的密度函式或機率函式（包括作為未知數的未知引數）的連乘積看成是未知引數的函式，稱其為似然函式（Likelihood function）。
也就是說，這樣定義的似然函式，就是把手中得到的樣本觀測值實現的“機率密度或機率”，即“似然程度”看成是未知引數θ的函式。使這一似然程度為最大從而決定θ的值的“方式”，可以說是極為“合理的”估計方式。令作為樣本觀測值的函式被決定的θ* ＝ g（x1，x2，……，xn）對於一切可能的（先驗容許的）θ值，都能滿足下列條件
L（θ*）≥L（θ） ①
就是說θ*是使給定的樣本觀測值的似然程度為最大的θ。這時θ*叫做θ的最大似然估計值。用觀測以前的樣本（隨機變數）X1，X2，……，Xn，代換函式g 的 n 個變數後得到的θ估計值θ^ = g（Xl，X2，……，Xn）叫做根據容量為n的樣本計算的最大似然估計量。
如果所有可能的θ的集合是有限集合，要求解滿足條件①式的θ值是很容易確定的，然而在大部分的應用問題中，θ的集合是無限集合。因此，在許多場合將似然函式對θ求偏導數，然後需要另外求解的方法。
此外，由於似然函式是非負的，對其進行對數變換是單調遞增的變換，所以①式等價於 ㏒ L（θ*）≥㏒ L（θ）
並且， 偏導數㏒/偏導數θ = （1/L） * 偏導數L/偏導數θ
所以使logL（θ）的偏導數為0的θ值 和 使L（θ）的偏導函式為0的θ值相等。
因此，當對L（θ）直接求導比較麻煩時，可以對LogL（θ）求導，從而求得估計值θ^。
似然函式（Likelihood Function）：
假定{xi}i=1→n 是從機率密度函式為f（x ； θ）的總體中抽取的獨立同分布樣本。目標是估計未知引數向量θ∈Rk。
似然函式定義為觀察值xi的聯合密度L（X；θ），它是θ的函式：
L（x；θ） = ∏f（xi ； θ）
其中，X為樣本資料矩陣，由觀察值x1 ， x2，……，xn組成每一行。
θ的最大似然估計量（maximum likelihood estimator，MLE）定義為θ= arg maxL（X；θ）
通常最大化對數似然函式更容易求
ζ（X；0） = Log L（X；θ）
對數似然函式與似然函式的解是等價的，因為對數轉換是單調的一對一對映。即
θ = arg max L（X；θ） = argmaxf（X；θ）
最大化過程總是可以被分析表達的，即我們將得到θ估計值的顯式分析表示式。然而不幸的是，在其他一些情形下，最大化過程可能是錯綜複雜的，牽涉到非線性最最佳化技術。
給定樣本X和似然函式，可將運用數值方法（numerical method）來確定最大化 L（X；θ）或者ζ（X；θ）的θ值，這些數值方法通常是基於牛頓一拉普生（Newton-Raphson）迭代技術。
