上課材料之九
第八章 古典線性回歸的大樣本理論 迄今為止的討論涉及了最小二乘估計(jì)量的有限樣本性質(zhì)。根據(jù)非隨機(jī)回歸量和擾動(dòng)項(xiàng) 正態(tài)分布這兩個(gè)假設(shè)，我們知道了最小二乘估計(jì)量的精確分布和一些檢驗(yàn)統(tǒng)計(jì)量。 在本章中，我們?nèi)タ偨Y(jié)前一章關(guān)于最小二乘法的有限樣本特性，然后我們重點(diǎn)討論古 典回歸模型的大樣本結(jié)果。 第一節(jié) 最小二乘法的有限樣本特性 古典回歸模型的基本假設(shè)是 Ⅰ.y=Xβ+ε。 Ⅱ.X是秩為K的n×K非隨機(jī)矩陣。 Ⅲ.E[ε]=0。 Ⅳ.E[εε′]=σ2I。 未知參數(shù)β和σ2的最小二乘估計(jì)量是 [pic] 和 [pic] 通過分析 [pic] 并且 [pic] 我們可得下列精確的有限樣本結(jié)果： 1. E[b]=β（最小二乘估計(jì)是無偏的） 2. Var[b]=σ2(X′X)-1 3. 任意函數(shù)r′β的最小方差線性無偏估計(jì)量是r′b。（這就是高斯—馬爾科夫定理） 4. E[s2]=σ2 5. Cov[b,e]=0 為了構(gòu)造置信區(qū)間和檢驗(yàn)假設(shè)，我們根據(jù)正態(tài)分布的假設(shè) [pic] 推導(dǎo)額外了的結(jié)果，即 6. b和e在統(tǒng)計(jì)上是相互獨(dú)立的。相應(yīng)的，b和s2無關(guān)并在統(tǒng)計(jì)上相互獨(dú)立。 7. b的精確分布依賴于X，是[pic]。 8. [pic]的分布是[pic]。s2的均值是σ2，方差是2σ4/（n－K）。 9. 根據(jù)6至8結(jié)果，統(tǒng)計(jì)量[pic]服從自由度為n－K的t分布。 10. 用于檢驗(yàn)一組J個(gè)線性約束Rβ=q的檢驗(yàn)統(tǒng)計(jì)量 [pic] 服從自由度為J和n－K的F分布。 注意，利用I至IV建立起來的b的各種性質(zhì)和根據(jù)擾動(dòng)項(xiàng)更進(jìn)一步的正態(tài)分布假設(shè)而得 到的額外推斷結(jié)果之間的區(qū)別。第一組中最重要的結(jié)果是高斯—馬爾科夫定理，它與擾動(dòng) 項(xiàng)的分布無關(guān)。根據(jù)正態(tài)分布假設(shè)得到的重要的附加結(jié)果是7、8、9、10。正態(tài)性沒有產(chǎn) 生任何額外的有限樣本的最優(yōu)性結(jié)果。（沒有得出額外的有關(guān)統(tǒng)計(jì)量好壞的結(jié)論） 第二節(jié) 古典回歸模型的漸近分布理論 為什么要用大樣本理論？ 在OLS的方法中，我們?nèi)绻脭?shù)據(jù)得到的wald統(tǒng)計(jì)量： [pic]～[pic] 通不過檢驗(yàn)，即假設(shè)[pic]不滿足，這樣的話我們就不能用OLS完成相關(guān)的假設(shè)檢驗(yàn)問題 ，所以我們要用到中心極限定理：在n足夠大的情況下，Y 和 [pic] 都服從正態(tài)分布。這樣，相應(yīng)的判別估計(jì)量好壞的方法和標(biāo)準(zhǔn)要捉相應(yīng)的調(diào)整，其中重 要的概念是一致估計(jì)量。雖然估計(jì)量有可能相同，但我們關(guān)心的是他們的一致性，而不 是無偏性。 所以我們要區(qū)分那些結(jié)論是可以在沒有正態(tài)性的假設(shè)下仍然成立的，利用這些條件來 推斷最小二乘系數(shù)估計(jì)量的一致性。 對(duì)于滿足I到IV假設(shè)的模型，可以直接推導(dǎo)大樣本最小二乘估計(jì)量的特性。 最小二乘系數(shù)向量的一致性 復(fù)習(xí)：依概率分布 定理 從具有有限均值μ和有限方差[pic]的任何總體中抽取的隨機(jī)樣本的均值都是μ的一個(gè)一致 估計(jì)量。 證明：[pic]，所以，[pic]依均方收斂于μ，或[pic]。 斯拉茨基定理（Slutsky） 對(duì)一個(gè)不是n的函數(shù)的連續(xù)函數(shù)g(xn)，有 [pic] 假設(shè) [pic] 是正定矩陣， （1） 這個(gè)假設(shè)在大多數(shù)時(shí)候是不過份的，考慮一元的情況： X=[pic] [pic] (我們知道，p[pic] p[pic]). [pic] which is positive definite as its principal submatrices all have positive determinants. 最小二乘估計(jì)量可以寫成 [pic] （2） 假設(shè)Q-1存在，因?yàn)槟婢仃囀窃仃嚨倪B續(xù)函數(shù)，我們得到 [pic] 現(xiàn)在我們需要最后一項(xiàng)的概率極限。令 [pic]，其中[pic],為[pic]的列向量 那么 [pic] 且 [pic] 因?yàn)?，X是非隨機(jī)矩陣，所以 [pic] 且 [pic] 于是可得 [pic] 由于[pic]的均值是0，并且它的方差收斂于0，所以[pic]按均方收斂于0，且[pic]。 （下面定理揭示了r-階收斂與依概率收斂的關(guān)系 定理8 [pic]。） 因此 [pic] （4） 所以 [pic] （5） 這表明了在古典回歸模型中，在假設(shè)（1）條件下b是β的一致估計(jì)量。 二、最小二乘估計(jì)量的漸近正態(tài)性 為了導(dǎo)出最小二乘估計(jì)量的漸近分布，利用以前結(jié)果可得 [pic] 由于逆矩陣是原矩陣的連續(xù)函數(shù)，[pic]。因此，如果極限分布存在，則統(tǒng)計(jì)量的極 限分布與下式相同： [pic] （6a） 因此，我們必須建立下式的極限分布， [pic] 其中[pic]。我們可以利用林德伯格- 費(fèi)勒形式的中心極限定理得到[pic]的極限分布。利用定理中的表達(dá)式， [pic] 是n個(gè)互不相關(guān)的隨機(jī)向量[pic]的平均值，其中[pic], εi的均值為0，方差為 [pic] [pic]的方差 [pic] [pic] 只要總和不被任一特定項(xiàng)占據(jù)主導(dǎo)地位并且回歸量表現(xiàn)良好，在這種情況中，這意味著 （1）成立，則 [pic]Var([pic])=[pic]Var([pic])=[pic] 下列結(jié)果的正式證明是根據(jù)林德伯格- 費(fèi)勒形式的中心極限定理，由施密特（1976）和懷特（1984）給出。如果 1. 擾動(dòng)項(xiàng)都服從具有零均值和有限方差[pic]的同樣的分布。 2. X的元素受到限制使得[pic]有限并且[pic]是一個(gè)有限正定矩陣。則 [pic] （6） (這也是為什么我們要假設(shè)Q是正定的，因?yàn)檎龖B(tài)的協(xié)方差都是正定的) 我們利用這一結(jié)果可得, 即作一個(gè)變換： [pic] 根據(jù)(6a): [pic] 我們可以得到b的漸近分布(不加證明)： [pic] 三、標(biāo)準(zhǔn)檢驗(yàn)統(tǒng)計(jì)量的漸近行為 如果沒有ε的正態(tài)性，前面給出的t，F(xiàn)和[pic]統(tǒng)計(jì)量則不會(huì)服從相應(yīng)的這些分布。因 為 [pic] 由此得出 [pic] 的漸近分布是標(biāo)準(zhǔn)正態(tài)分布。 由于[pic]（在下一節(jié)中將證明[pic]這個(gè)結(jié)果） [pic] 將與θk有同樣的漸近分布。因此，我們可以認(rèn)為，關(guān)于β的一個(gè)元素的假設(shè)的通常統(tǒng)計(jì)量 服從標(biāo)準(zhǔn)正態(tài)分布，而不是t分布。(也就是大樣本情況下，沒有t分布了，相應(yīng)的t分布 是正態(tài)分布。) 用于檢驗(yàn)一組線性約束的F統(tǒng)計(jì)量， [pic] 不再是F分布，因?yàn)榉肿雍头帜付疾皇且蟮腫pic]分布。不過, 沃爾德統(tǒng)計(jì)量JF[J,n－K]漸近地服從[pic]分布并可以用來替代使用。這與擾動(dòng)項(xiàng)正態(tài)分 布情況的結(jié)果相同。在通常的假設(shè)下，無論擾動(dòng)項(xiàng)是否服從正態(tài)分布，在處理古典模型 的大樣本時(shí)，沃爾德統(tǒng)計(jì)量都可使用。 定理 沃爾德統(tǒng)計(jì)量的極限分布定理 如果[pic] 以及[pic]是正確的，那么 [pic] 依分布收斂于自由度為J的[pic]統(tǒng)計(jì)量。（我們不要求正式嚴(yán)格證明）。 特別提醒與注意：模型的整體檢驗(yàn)統(tǒng)計(jì)量 這個(gè)沃爾德統(tǒng)計(jì)量就是可以用來作為我們模型的整體檢驗(yàn)，只不過檢驗(yàn)時(shí)，這里的R =I，而q=0而已。但注意沃爾德統(tǒng)計(jì)量W 是自由度為J的[pic]統(tǒng)計(jì)量，而不再是用F 分布來檢驗(yàn)了。但W=JF。 定理的證明：由于R是常數(shù)矩陣， [pic] （1） 又Rβ=q，因此 [pic] （2） 為方便起見，將此寫成 [pic] （3） 令T滿足T2=P-1，并把T記為[pic]，即T是P的逆平方根。 如果[pic]，那么[pic] （4） 現(xiàn)在，我們對(duì)隨機(jī)變量函數(shù)的極限分布利用斯拉茨基（Slutsky）定理，無關(guān)的（即，相 互獨(dú)立）標(biāo)準(zhǔn)正態(tài)分布變量的平方和服從[pic]分布。因此，有下面的極限分布 [pic] （5） 再結(jié)合前面的各部分， 不難證明： [pic] （6） 即我們已經(jīng)證明了其極限分布是自由度為J的[pic]分布。 由于[pic]（在下一節(jié)中將證明這個(gè)結(jié)果），這樣： [pic] 的極限分布式與（6）的極限分布是一樣的。 約去ｎ，對(duì)左邊進(jìn)行整理就得到沃爾德統(tǒng)計(jì)量W。證明完畢。 注意：沃爾德統(tǒng)計(jì)量W可以用J 乘以通常的F 的統(tǒng)計(jì)量而得到。F仍然是OLS得到的F統(tǒng)計(jì)量。 三、s2的一致性和Var[b]的估計(jì)量 本節(jié)證明上節(jié)用到的結(jié)果plim[pic]的假設(shè),即證明s2對(duì)[pic]的一致性，也就是證明 [pic]。展開 [pic] 可得 [pic] [pic] 最前面的常數(shù)顯然收斂于1，括號(hào)中第一項(xiàng)依概率收斂于[pic]，因?yàn)椋篬pic]=[pic] 而且：[pic] [pic] 因?yàn)橛校海ǘɡ?從具有有限均值μ和有限方差[pic]的任何總體中抽取的隨機(jī)樣本的均值都是μ的一個(gè)一致 估計(jì)量。P357(大Green)） 所以只有在[pic]為有限的情況下，[pic]是[pic]的一致估計(jì)量。 所以我們要假設(shè)[pic]是有限的。 這意味著 [pic] 單獨(dú)看plims2的第二項(xiàng)，略微整理之后，我們有 [pic] 這個(gè)統(tǒng)計(jì)量的大樣本特性與 [pic] 的相同。注意q等于[pic]乘以正態(tài)分布向量的二次型，該向量[pic]漸近方差矩陣是[pic] Q。因此，利用沃爾德統(tǒng)計(jì)量極限分布證明的結(jié)果，我們發(fā)現(xiàn)q可以寫成 [pic] 這樣 [pic] [pic] 而且[pic]，q是二階收斂的，所以保證了概率收斂，即[pic]由此可得q本身依均方收斂 于0。這表明了s2對(duì)[pic]的一致性。由此b的漸近協(xié)方差的適當(dāng)?shù)墓烙?jì)量是： [pic] B的函數(shù)的漸近分布——得爾塔方法 利用泰勒展開，把f(x)線性化。 令f(b)是一組關(guān)于最小二乘估計(jì)量J個(gè)連續(xù)的線性或非線性的函數(shù)并令 [pic] G是J×K矩陣，其中第j行是第j個(gè)函數(shù)關(guān)于b的導(dǎo)數(shù)。利用斯拉茨基（Slutsky）定理， [pic] 并且 [pic]， 于是 [pic] （2） 實(shí)際上，漸近協(xié)方差矩陣的估計(jì)量是 [pic] 如果某個(gè)函數(shù)是非線性的，則b的無偏的性質(zhì)不會(huì)傳給f(b)。不過從（2）中可得f(b)是 f(β)的一致估計(jì)量，而且漸近協(xié)方差矩陣很容易獲得。 例 P324（小Green） 小 結(jié) 有限樣本和大樣本的結(jié)果比較 有限樣本 大樣本 在條件[pic]下的結(jié)果 在不滿足條件[pic]下的結(jié)果 1. E[b]=β 1. [pic] 最小二乘估計(jì)是無偏的 b是β的一致估計(jì)量 2. E[s2]=σ2 2. s2是方差[pic]的一致估計(jì)量 σ2估計(jì)是無偏的 s2是[pic]的一致估計(jì)量 3. [pic]Var[b]=s2(X′X)-1 3。 [pic] 4．b的精確分布是 4. b的漸近分布是正態(tài)分布 [pic] [pic] 5．統(tǒng)計(jì)量[pic] 5. 統(tǒng)計(jì)量 [pic] 服從自由度為n－K的t分布 服從標(biāo)準(zhǔn)正態(tài)分布，而不是t分布 6．用于檢驗(yàn)一組J個(gè)線性約束Rβ=q的檢驗(yàn)統(tǒng)計(jì)量 [pic] 服從自由度為J和n－K的F分布 6. [pic] 依分布收斂于自由度為J的[pic]統(tǒng)計(jì)量 非線性問題的處理：（利用泰勒展開，轉(zhuǎn)換為線性）
上課材料之九