上課材料之八
第六章 正態(tài)線性統(tǒng)計模型的最大似然估計 我們假定第五章的6個假設(shè)條件全部滿足，我們就知道了Y的分布函數(shù)，我們也就可以 用其他方法如最大似縱然估計和矩估計等來求解出參數(shù)[pic]的估計量。在本章中我們用 最大似縱然估計求出參數(shù)[pic]的估計量。 利用模型的假設(shè)和樣本信息，我們首先求出似然函數(shù)，它是關(guān)于未知數(shù)[pic]的函數(shù) 。由于[pic]，因此有[pic]或者邊際分布[pic]，這里[pic]，t=1,2,…,n, {yt}是相互獨 立的（Why?）。yt的密度函數(shù)為 [pic] 所以y1,y2,…,yn的聯(lián)合概率密度函數(shù)為 [pic] [pic] 如果把y1,y2,…,yn的聯(lián)合概率密度函數(shù)看做是未知參數(shù)[pic]的函數(shù)，我們稱它為似然函 數(shù)，記為 [pic] 兩邊取自然對數(shù)得到對數(shù)似然函數(shù)為 [pic] [pic] 據(jù)最大似然法則，估計未知參數(shù)[pic]的問題變成了選擇[pic]的值使得對數(shù)似然函數(shù) 的值達(dá)到最大，也即是如下的最優(yōu)化問題： [pic] 這個問題的一階條件為 [pic] [pic] 如果把這兩個方程的解分別記為[pic]，那么它們滿足 [pic] [pic] 可以解得 [pic]（與最小乘估計量一樣） [pic] 這里[pic]。所以β的最大似然估計和最小二乘估計是一樣的。這是由于選擇β的值最大化 對數(shù)似然函數(shù)和最小化誤差平方和[pic]是等價的。如果記 [pic] 并稱它為最大似然殘差，那么它和最小二乘殘差是相等的，即[pic]。這樣[pic]可表示 為 [pic] 對于[pic]，我們已知知道[pic]。由于[pic]是y的線性函數(shù)，而y服從正態(tài)分布，所 以[pic]也服從正態(tài)分布，均值為β，協(xié)方差矩陣為[pic]，也即[pic]。這個結(jié)果在進(jìn)行 區(qū)間估計和假設(shè)檢驗時是非常有用的。 關(guān)于[pic]，由于[pic]，所以其期望值為 [pic] 它是[pic]的一個有偏估計量，其偏度為[pic]。為了得到一個無偏估計量，定義 [pic] 那么它是[pic]的一個無偏估計量。它和我們在前一章里得到的關(guān)于[pic]的無偏估計 量是一樣的。
上課材料之八