上課材料之七
第七章 帶有線性約束的多元線性回歸模型及其假設(shè)檢驗(yàn) 在本章中，繼續(xù)討論第五章的模型，但新的模型中，參數(shù)β滿(mǎn)足J個(gè)線性約束集，Rβ= q，矩陣R有和β相一致的K列和總共J個(gè)約束的J行，且R是行滿(mǎn)秩的，我們考慮不是過(guò)度約 束的情況，因此，J＜K。 帶有線性約束的參數(shù)的假設(shè)檢驗(yàn)，我們可以用兩種方法來(lái)處理。第一個(gè)方法，我們按 照無(wú)約束條件求出一組參數(shù)估計(jì)后，然后我們對(duì)求出的這組參數(shù)是否滿(mǎn)足假設(shè)所暗示的 約束，進(jìn)行檢驗(yàn)，我們?cè)诒菊碌牡谝还?jié)中討論。 第二個(gè)方法是我們把參數(shù)所滿(mǎn)足的線性約束和模型一起考慮，求出參數(shù)的最小二乘解 ，爾后再作檢驗(yàn)，后者就是參數(shù)帶有約束的最小二乘估計(jì)方法，我們?cè)诒菊碌牡诙?jié)中 討論。 第一節(jié) 線性約束的檢驗(yàn) 從線性回歸模型開(kāi)始， [pic] （1） 我們考慮具有如下形式的一組線性約束， [pic] 這些可以用矩陣改寫(xiě)成一個(gè)方程 [pic] （2） 作為我們的假設(shè)條件[pic]。 R中每一行都是一個(gè)約束中的系數(shù)。矩陣R有和β相一致的K列和總共J個(gè)約束的J行，且 R是行滿(mǎn)秩的。因此，J一定要小于或等于K。R的各行必須是線性無(wú)關(guān)的，雖然J=K的情況 并不違反條件，但其唯一決定了β，這樣的約束沒(méi)有意義，我們不考慮這種情況。 給定最小二乘估計(jì)量b，我們的興趣集中于“差異”向量d=Rb－q。d精確等于0是不可能 的事件（因?yàn)槠涓怕适?），統(tǒng)計(jì)問(wèn)題是d對(duì)0的離差是否可歸因于抽樣誤差或它是否是顯 著的。 由于b是多元正態(tài)分布的，且d是b的一個(gè)線性函數(shù)，所以d也是多元正態(tài)分布的，若原 假設(shè)為真，d的均值為0，方差為 [pic] （3） 對(duì)H0的檢驗(yàn)我們可以將其基于沃爾德（Wald）準(zhǔn)則： [pic] =[pic] （4） 在假設(shè)正確時(shí)將服從自由度為J的[pic]分布(為什么?)。 直覺(jué)上，d越大，即最小二乘滿(mǎn)足約束的錯(cuò)誤越大，則[pic]統(tǒng)計(jì)量越大，所以，一個(gè) 大的[pic]值將加重對(duì)假設(shè)的懷疑。 [pic] （5） 由于σ未知，（4）中的統(tǒng)計(jì)量是不可用的，用s2替代σ2，我們可以導(dǎo)出一個(gè)F[J，（ n－K）]樣本統(tǒng)計(jì)量，令 [pic] （6） 分子是（1/J）乘（4）中的W，分母是1/（n－K）乘（5）中的冪等二次型。所以，F(xiàn)是兩 個(gè)除以其自由度的卡方變量的比率。如果它們是獨(dú)立的，則F的分布是F[J，（n－K）]， 我們前邊發(fā)現(xiàn)b是獨(dú)立于s2分布的，所以條件是滿(mǎn)足的。 我們也可以直接推導(dǎo)。利用（5）及M是冪等的這一事實(shí)，我們可以把F寫(xiě)為 [pic] （7） 由于 [pic] F統(tǒng)計(jì)量是[pic]的兩個(gè)二次型的比率，由于M[pic]和T[pic]都服從正態(tài)分布且它們的 協(xié)方差TM為0，所以二次型的向量都是獨(dú)立的。F的分子和分母都是獨(dú)立隨機(jī)向量的函數(shù) ，因而它們也是獨(dú)立的。這就完成了證明。 消掉（6）中的兩個(gè)σ2，剩下的是檢驗(yàn)一個(gè)線性假設(shè)的F統(tǒng)計(jì)量， [pic] [pic] （8） 我們將檢驗(yàn)統(tǒng)計(jì)量 [pic] 和F分布表中的臨界值相比較，一個(gè)大的F值是反對(duì)假設(shè)的證據(jù)。 注意：將wald統(tǒng)計(jì)量中的[pic]用[pic]去替代，相應(yīng)的就將J維的卡方分布轉(zhuǎn)換為維度為 （J,n-K）的F分布。 第二節(jié) 參數(shù)帶有約束的最小二乘估計(jì) 一、帶有約束的最小二乘函數(shù) 在許多問(wèn)題中，要求其中的未知參數(shù)β滿(mǎn)足某特定的線性約束條件：Rβ=q，這里R是J ×K矩陣（J＜K），并假定它的秩為J維向量，常常希望求β的估計(jì)[pic]，使得 [pic] （9） 滿(mǎn)足條件（9）的稱(chēng)為β的具有線性約束Rβ=q的最小二乘估計(jì)。 解[pic]的問(wèn)題實(shí)際上是在約束條件 Rβ=q 下求 [pic] 的限制極值點(diǎn)問(wèn)題。 這個(gè)問(wèn)題的一個(gè)拉格朗日解可寫(xiě)作 [pic] 解b*和λ將滿(mǎn)足必要條件 [pic] [pic] 展開(kāi)可以得到分塊矩陣方程 [pic] 或 Wd*=v 假定括號(hào)中的分塊矩陣是非奇異的，約束最小二乘估計(jì)量 d*=W-1v [pic] where[pic] 的解。此外，若X′X是非奇異的，則用分塊逆公式可以得到b*和λ的顯示解 [pic] 和 [pic] 格林和西克斯（1991）表明b*的協(xié)方差矩陣簡(jiǎn)單地就是[pic]乘以W-1的左上塊，在X′X是 非奇異的通常情況下，再一次可以得到一個(gè)顯性公式 [pic]， 這樣， [pic]（一個(gè)非負(fù)定矩陣）， Var[b*]的方差比Var[b]小的一個(gè)解釋是約束條件提供了更多的信息價(jià)值。 二、對(duì)約束的檢驗(yàn)的另一個(gè)方法 令[pic]，我們來(lái)計(jì)算新的離差平方和[pic]。 [pic] 則新的離差平方和是 [pic] [pic] [pic] 因?yàn)樾碌哪Ｐ椭袇?shù)的個(gè)數(shù)為k-J個(gè)，J個(gè)榆樹(shù)條件是原模型中的J個(gè)參數(shù)可以被其他k- J個(gè)表示。 （此表達(dá)式中的中間項(xiàng)含有X′e，它是0）。這說(shuō)明我們可以將一個(gè)約束檢驗(yàn)基于擬合的 損失。這個(gè)損失是， [pic] 這出現(xiàn)在前邊推導(dǎo)的F統(tǒng)計(jì)量的分子上，我們得到統(tǒng)計(jì)量的另一個(gè)可選形式。 可選形式是 [pic] 最后，以SST=[pic]除F的分子和分母，我們得到第三種形式， [pic] 由于兩個(gè)模型的擬合之差直接體現(xiàn)在檢驗(yàn)統(tǒng)計(jì)量中，這個(gè)形式具有一些直觀吸引力。 [實(shí)例]對(duì)數(shù)變換生產(chǎn)函數(shù) 所有科布—道格拉斯模型的一般化是如下的對(duì)數(shù)變換模型， [pic] （10） 無(wú)約束回歸的結(jié)果在表1中給出。 表1 無(wú)約束回歸的結(jié)果 |回歸標(biāo)準(zhǔn)誤差 |0.17994 | |殘差平方和 |0.67993 | |R平方 |0.95486 | |調(diào)整R平方 |0.94411 | |變量 |系數(shù) |標(biāo)準(zhǔn)誤差 |t值 | |常數(shù)項(xiàng) |0.944216 |2.911 |0.324 | |LnL |3.61363 |1.548 |2.334 | |LnK |－1.89311 |1.016 |－1.863 | |[pic] |－0.96406 |0.7074 |－1.363 | |[pic] |0.08529 |0.2926 |0.291 | |lnL×lnK |0.31239 |0.4389 |0.71 | |系數(shù)估計(jì)量的估計(jì)協(xié)方差矩陣 | | |常數(shù)項(xiàng) |lnL |lnK |Ln2L/2 |Ln2K/2 |lnL×lnK | |常數(shù)項(xiàng) |8.472 | | | | | | |LnL |－2.388 |2.397 | | | | | |LnK |－0.3313 |－1.231 |1.033 | | | | |[pic] |－0.08760|－0.6658 |0.5231 |0.5004 | | | |[pic] |0.2332 |0.03477 |0.02637 |0.1467 |0.08562 | | |lnL×lnK |0.3635 |0.1831 |－0.2255 |－0.2880 |－0.1160 |0.1927 | 考慮了約束條件[pic]的模型就可以得到科布一道格拉斯模型：[pic] （11） 這是一個(gè)條件約束下的無(wú)條件的多元線性回歸模型。就可以用一般線性回歸的方法求 解模型。假如我們通過(guò)有約束條件下的無(wú)條件的多元線性回歸模型得到： [pic]，而且n－K=21，則科布—道格拉斯模型假設(shè)的F統(tǒng)計(jì)量是 [pic] 查自F分布表的5%臨界值是3.07，所以我們不能拒絕科布—道格拉斯模型是適當(dāng)?shù)倪@一 假設(shè)。 考慮了約束條件[pic]和條件[pic]的模型就是滿(mǎn)足規(guī)模效應(yīng)的科布—道格拉斯生產(chǎn)函數(shù)。 這個(gè)模型可以推導(dǎo)如下： [pic] [pic] （12） 假如我們通過(guò)有約束條件下的無(wú)條件的多元線性回歸模型得到： [pic]，而且n－K=21，則科布—道格拉斯模型假設(shè)的F統(tǒng)計(jì)量是 [pic] 查自F分布表的5%臨界值是2.85，所以我們不能拒絕科布—道格拉斯模型是規(guī)模效應(yīng)的 生產(chǎn)函數(shù)的這一假設(shè)。 第三節(jié) 結(jié)構(gòu)變化與鄒至莊檢驗(yàn) (Structure Change and Chou-Test) 1. 問(wèn)題提出 我們經(jīng)常碰到這樣的問(wèn)題。某項(xiàng)政策的出臺(tái)及實(shí)施，其效果如何？不同地區(qū)或不同時(shí) 期內(nèi)，我們分別可以得到這兩個(gè)地區(qū)或時(shí)期的觀測(cè)值，我們的問(wèn)題是：這兩個(gè)地區(qū)或時(shí) 期的情況是否不同，經(jīng)濟(jì)結(jié)構(gòu)有無(wú)差異。 這類(lèi)問(wèn)題，被華人經(jīng)濟(jì)學(xué)家鄒至莊用構(gòu)造的F檢驗(yàn)解決了（1960年）。這樣的F檢驗(yàn)的 統(tǒng)計(jì)量，就稱(chēng)為鄒至莊檢驗(yàn)（Chou-Test）。 二、問(wèn)題的模型表述 設(shè)[pic]分別表示這兩個(gè)時(shí)期的觀測(cè)值，允許兩個(gè)時(shí)期中系數(shù)不同的無(wú)約束回歸是[pic] ，我們可以將其改寫(xiě)成一個(gè)回歸方程 [pic]……（1） 即[pic]模型，其中Y=[pic]，Z=[pic]，β=[pic]，ε=[pic]。 上述問(wèn)題就轉(zhuǎn)換成檢驗(yàn)[pic]的問(wèn)題。 我們可以用兩種方式來(lái)處理問(wèn)題 一）用約束條件[pic]，來(lái)檢驗(yàn)。[pic]是更一般約束條件Rβ=q的一個(gè)特殊形式，其中 R=(I,-I) 和 q=0。這個(gè)直接可以從基于Wald統(tǒng)計(jì)量的帶約束條件的F檢驗(yàn)得到。（請(qǐng)自己推導(dǎo)）。 例題：用約束條件下，F(xiàn)檢驗(yàn)推導(dǎo)出鄒至莊檢驗(yàn)的表達(dá)式： 解：在約束條件Rβ=q下，F(xiàn)檢驗(yàn) [pic]。 而鄒至莊檢驗(yàn)時(shí)約束條件Rβ=q的一種特殊形式，即R=(I,- I)，而q=0，也即等同于條件[pic]。（有2k個(gè)參數(shù)，并且是有k個(gè)約束）。故 [pic] 服從F（[pic]）的分布。 另外，在考慮了約束條件[pic]后，我們可以將模型（1）改寫(xiě)成一個(gè)無(wú)約束的新 的回歸方程 [pic]， 即 [pic] (2) 即無(wú)約束的線性模型[pic]模型，其中Y=[pic]，Z=[pic]，[pic]β=[pic]，ε=[pic]。 假如模型（2）的殘差平方和是[pic]，在假設(shè)條件[pic]下， 我們可以得到F統(tǒng)計(jì)量可更簡(jiǎn)單地表示為： [pic]。 二） 更直接、更容易的一個(gè)處理是將約束直接構(gòu)造進(jìn)模型中，若兩個(gè)系數(shù)向量相同，則模型 （1）就轉(zhuǎn)換為： [pic]……（2） 由此我們推導(dǎo)出可以檢驗(yàn)的鄒至莊統(tǒng)計(jì)量Chou-Test。 從模型（1）中，我們可以得到無(wú)約束最小二乘估計(jì)量是 [pic] 故 [pic] [pic] 則[pic]……（3） 對(duì)于有約束條件[pic]限制的模型（2） [pic] [pic] 則[pic]……（4） [pic] 問(wèn)[pic]服從何分布？ 首先證明：[pic] [pic] 故[pic]而且[pic] 故[pic] 同樣[pic]是冪等矩陣 故[pic]且與[pic] 是獨(dú)立的，所以 [pic] 這個(gè)就是鄒至莊檢驗(yàn)統(tǒng)計(jì)量（Chou-Test）。
上課材料之七