上課材料之六
第五章 多元線(xiàn)性回歸模型 在第四章中，我們討論只有一個(gè)解釋變量影響被解釋變量的情況，但在實(shí)際生活中， 往往是多個(gè)解釋變量同時(shí)影響著被解釋變量。需要我們建立多元線(xiàn)性回歸模型。 一、多元線(xiàn)性模型及其假定 多元線(xiàn)性回歸模型的一般形式是 [pic] 令列向量x是變量xk，k=1，2，的n個(gè)觀測(cè)值，并用這些數(shù)據(jù)組成一個(gè)n×K數(shù)據(jù)矩陣X， 在多數(shù)情況下，X的第一列假定為一列1，則β1就是模型中的常數(shù)項(xiàng)。最后，令y是n個(gè)觀 測(cè)值y1, y2, …, yn組成的列向量，現(xiàn)在可將模型寫(xiě)為： [pic] 構(gòu)成多元線(xiàn)性回歸模型的一組基本假設(shè)為 假定1. [pic] 我們主要興趣在于對(duì)參數(shù)向量β進(jìn)行估計(jì)和推斷。 假定2. [pic] 假定3. [pic] 假定4. [pic] 我們假定X中不包含ε的任何信息，由于 [pic] （1） 所以假定4暗示著[pic]。 （1）式成立是因?yàn)?，?duì)于任何的雙變量X，Y，有E(XY)=E(XE(Y|X))，而且[pic] [pic] 這也暗示 [pic] 假定5 X是秩為K的n×K隨機(jī)矩陣 這意味著X列滿(mǎn)秩，X的各列是線(xiàn)性無(wú)關(guān)的。 在需要作假設(shè)檢驗(yàn)和統(tǒng)計(jì)推斷時(shí)，我們總是假定： 假定6 [pic] 二、最小二乘回歸 1、最小二乘向量系數(shù) 采用最小二乘法尋找未知參數(shù)β的估計(jì)量[pic]，它要求β的估計(jì)[pic]滿(mǎn)足下面的條件 [pic] （2） 其中[pic]，min是對(duì)所有的m維向量β取極小值。 也即 [pic] [pic] （3） 滿(mǎn)足（2）式或（3）式的估計(jì)量[pic]稱(chēng)為β的最小二乘估計(jì)，這種求估計(jì)量的方法稱(chēng) 為最小二乘法（OLS）。 展開(kāi)上式得 [pic] 或 [pic] 最小值的必要條件是 [pic] 設(shè)b是解，則b滿(mǎn)足正則方程組 [pic] 這正是我們?cè)治龅淖钚《苏齽t方程組。因?yàn)閄是滿(mǎn)秩的，所以[pic]的逆存在， 從而得到解是 [pic] 為了證實(shí)這確實(shí)是最小值，我們需要二階編分矩陣 [pic] 是一個(gè)正定矩陣。 我們現(xiàn)在來(lái)證明這個(gè)結(jié)果。對(duì)任意一非零向量c，令[pic]，則 [pic] 除非[pic]的每一元素都為0，否則q是正的。但若[pic]為零的話(huà)，則X的各列的一個(gè)線(xiàn)性 組合等于0，這與X滿(mǎn)秩的假定相矛盾。 三、最小二乘估計(jì)量的統(tǒng)計(jì)特性 在本節(jié)中，我們對(duì)回歸量的兩種情況，即非隨機(jī)回歸量和隨機(jī)回歸量下分別作討論。 1、X非隨機(jī)回歸量 若回歸量當(dāng)作非隨機(jī)來(lái)進(jìn)行處理時(shí)，則將X當(dāng)作常數(shù)矩陣處理就可導(dǎo)出最小二乘估計(jì) 量的各種特性?？傻?[pic] （4） 若X是非隨機(jī)的，或[pic]，則（4）中第二項(xiàng)的期望值是0。所以，最小二乘估計(jì)量是 無(wú)偏的，它的協(xié)方差矩陣是 [pic] [pic] [pic] [pic] [pic] 在前面的內(nèi)容中，對(duì)K=2的特殊b是β的最小方差的線(xiàn)性無(wú)偏估計(jì)量?，F(xiàn)在我們給出這 個(gè)基本結(jié)果的一個(gè)更一般的證明，令[pic]的另一個(gè)不同于b的線(xiàn)性無(wú)偏估計(jì)量，其中C是 一個(gè)K×n矩陣。若[pic]是無(wú)偏的， [pic] 這暗示著CX=I，并且[pic]。所以可以得到[pic]的協(xié)方差矩陣是 [pic] 現(xiàn)在令[pic]，由假設(shè)知D≠0。那么，[pic] [pic] 于是[pic]是非負(fù)定矩陣。 則 [pic] [pic] [pic] 在展開(kāi)這個(gè)四項(xiàng)和式之前，我們注意到 [pic] 由于上面最后一項(xiàng)是I，有DX=0，所以 [pic] [pic] [pic]的方差矩陣等于b的方差矩陣加上一個(gè)非負(fù)定矩陣。所以，[pic]的每個(gè)二次型 都大于[pic]的相應(yīng)二次型。 利用這個(gè)結(jié)果可以證明高斯-馬爾科夫定理： 高斯—馬爾科夫定理： 對(duì)任意常向量w，古典線(xiàn)性模型中[pic]的最小方差線(xiàn)性無(wú)偏估計(jì)量是[pic]，其中b是 最小二乘估計(jì)量。 2、X隨機(jī)回歸量 在這樣的情況下，為了得到最小二乘估計(jì)量特性更多的一般性，有必要將上面的結(jié)果 推廣解釋變量X是來(lái)自某種概率分布的情況中去。獲得b的統(tǒng)計(jì)特性的一個(gè)方便的方法是 ，首先，第一步求得對(duì)X的條件期望結(jié)果，這等同于非隨機(jī)回歸量的情況，第二步，通過(guò) 條件分布得到無(wú)條件結(jié)果。此論點(diǎn)的關(guān)鍵是，如果我們對(duì)任意X都可能得到條件無(wú)偏性， 我們就可以得到一個(gè)無(wú)條件結(jié)果。 因?yàn)? [pic] 所以，以觀測(cè)到的X為條件我們得到 [pic] 一個(gè)有用的方法是利用重期望定律 [pic] [pic] 因?yàn)橛杉俣?有[pic]，所以，b也是無(wú)條件無(wú)偏的，這樣， [pic]。 同樣，以X為條件的b的方差是 [pic] 為了求得確切的方差，我們使用方差分解公式： [pic] 由于對(duì)所有X，[pic]，所以第二項(xiàng)為零，因此， [pic] 我們?cè)瓉?lái)的結(jié)論要稍作改變，我們必須用其期望值E[(X′X)-1]來(lái)代替原來(lái)[pic]以得到適 當(dāng)?shù)膮f(xié)方差矩陣。 從上一段的結(jié)果可以合乎邏輯地建立高斯—馬爾科夫定理， 即對(duì)任何[pic]，在X給定的條件下有 [pic] 但若這一不等式對(duì)一特定X成立，則必須成立： [pic] 即，若它對(duì)每一特定X成立，則它一定對(duì)X的平均值也成立。這暗示，[pic]≤[pic]。 所以，不論我們是否將X看作是隨機(jī)的，即無(wú)偏性和高斯—馬爾科夫定理都成立。 四、最小二乘估計(jì)量的統(tǒng)計(jì)推斷 迄今為止，在我們?nèi)我唤Y(jié)果還未用到ε的正態(tài)性的假定6，但這一假定對(duì)構(gòu)造假設(shè)檢驗(yàn) 的統(tǒng)計(jì)量是有用的和必須的。 1、回歸系數(shù)的假設(shè)檢驗(yàn) 我們先討論X非隨機(jī)變量時(shí)的情況。 在（4）中，b是干擾向量ε的一個(gè)線(xiàn)性函數(shù)，如果我們假定ε服從多重正態(tài)分布。 利用前面結(jié)果及前邊推導(dǎo)的均值向量和協(xié)方差矩陣來(lái)表示即 [pic] 這是一個(gè)多重正態(tài)分布，所以b的每一元素的邊際分布都是正態(tài)分布的： [pic] 令[pic]是[pic]的第k個(gè)對(duì)角元素，則 [pic] （5） 服從標(biāo)準(zhǔn)正態(tài)分布。若[pic]的統(tǒng)計(jì)推斷可以基于[pic]。然而[pic]仍要估計(jì)，所以 （5）式中Zk不是統(tǒng)計(jì)量。我們要得到[pic]的無(wú)偏估計(jì)量，才能作進(jìn)一步的推斷。 按定義最小二乘殘差向量是 [pic] [pic] [pic] [pic] M是回歸分析中一個(gè)基本的n×n矩陣，你可以容易地驗(yàn)證M既是對(duì)稱(chēng)的(M=M′)又是冪等 的（M=M2）。 性質(zhì)1：X′e=0和i′e=0 證明：由正則方程組，我們得到： [pic] [pic] 所以， i′e=0 由性質(zhì)1及證明過(guò)程我們得到兩個(gè)推論： 推論1：[pic]和MX=0。 推論2：[pic]和Mi=0。 推論2成立是因?yàn)閄′的第一行是（1,1,…，1）。 性質(zhì)2：e和b互不相關(guān)。 [pic] [pic] 從幾何解釋來(lái)看這一性質(zhì)是顯然的，e表示Y到子樣空間的垂線(xiàn)估計(jì)量，[pic]和e互相 垂直。 性質(zhì)3：殘差e的均值向量和協(xié)方差陣分別是[pic] 證明：[pic] [pic] [pic] [pic] E(e)=0，暗示[pic]是y的無(wú)偏估計(jì)量。 性質(zhì)4：[pic] 證明：最小二乘殘差是 [pic]， 這是由于MX=0，[pic]的一個(gè)估計(jì)量將基于殘差平方和： [pic] 這個(gè)二次型的期望值是 [pic] 我們有 [pic][pic] 由于M是固定的，這就是 [pic] M的跡是 [pic] [pic] 所以， [pic]， [pic]的一個(gè)無(wú)偏估計(jì)量是 [pic] （6） 回歸的標(biāo)準(zhǔn)誤差是s2，其平方根為s。利用s2，我們可以計(jì)算估計(jì)量b的估計(jì)協(xié)方差矩陣 ： [pic] 通過(guò)利用s2替代[pic]，我們導(dǎo)出替代（5）中zk的一個(gè)統(tǒng)計(jì)量。此量 [pic] 是一個(gè)標(biāo)準(zhǔn)正態(tài)向量[pic]的冪等二次型，所以，它服從自由度為秩（M）=跡（M）=n—K 的x2分布。（6）中的x2分布變量獨(dú)立于（4）中的標(biāo)準(zhǔn)正態(tài)變量，為了證明這一點(diǎn)，只 要證明 [pic] （7a） 獨(dú)立于[pic]就足夠了。我們知道標(biāo)準(zhǔn)正態(tài)向量x的一個(gè)線(xiàn)性式Lx和一個(gè)冪等二次型x ′Ax獨(dú)立的充分條件是LA=0，令[pic]等x，我們發(fā)現(xiàn)這里所需求的是[pic]。這確實(shí)成立 ，因?yàn)閇pic]。 在推導(dǎo)回歸分析中許多檢驗(yàn)統(tǒng)計(jì)量中起中心作用的一般性結(jié)果是： 若ε服從正態(tài)分布，最小二乘系數(shù)估計(jì)量b統(tǒng)計(jì)獨(dú)立于殘差向量e及包括s2在內(nèi)的e的所 有函數(shù)。 所以，比率 [pic] [pic] （7） 服從自由度為（n—K）的t分布。這是我們作統(tǒng)計(jì)推斷的基礎(chǔ)。 線(xiàn)性約束檢驗(yàn) 我們通常對(duì)含有不只一個(gè)系數(shù)的假設(shè)檢驗(yàn)感興趣，我們可以利用一個(gè)類(lèi)似于（7）中 的檢驗(yàn)統(tǒng)計(jì)量。假定我們的假設(shè)是 [pic]， （通常某些r將為零）左邊的樣本估計(jì)是 [pic] 若[pic]顯著異于q，則我們推斷樣本數(shù)據(jù)與假設(shè)不一致。與（7）一樣，將假設(shè)基于下式 是很自然的。 [pic] （7a） 我們需要[pic]的標(biāo)準(zhǔn)誤差的一個(gè)估計(jì)。由于[pic]是b的一個(gè)線(xiàn)性函數(shù)，且我們已估計(jì)出 了b的方差矩陣[pic]，我們可用下式估計(jì)[pic]的方差。 [pic] （7）中的分母是這個(gè)量的平方根。若假設(shè)是正確的，我們的估計(jì)應(yīng)該反映這一事實(shí)，至 少在抽樣變化性的范圍內(nèi)如此。這樣，若前邊的t比率的絕對(duì)值大于適當(dāng)?shù)谋O(jiān)界值，則應(yīng) 對(duì)假設(shè)產(chǎn)生懷疑。 2、隨機(jī)X及正態(tài)ε下的檢驗(yàn)統(tǒng)計(jì)量 現(xiàn)在，我們考慮當(dāng)X是隨機(jī)的，樣本檢驗(yàn)統(tǒng)計(jì)量和推斷方法考慮（7）中檢驗(yàn)[pic]的 t統(tǒng)計(jì)量： [pic] （8） 以X為條件，t|X服從自由度為（n—K）的t分布。然而，我們感興趣的是t的邊際（即無(wú)條 件）分布。正如我們所見(jiàn)，（7a）僅僅在以X為條件時(shí)b才是正態(tài)分布的，我們還沒(méi)有證 明它的邊際分布是正態(tài)分布的。類(lèi)似地，當(dāng)X是隨機(jī)的情況下，在給定X的條件下，我們 得到了（8）式的t統(tǒng)計(jì)量，我們還沒(méi)有證明t邊際分布也是以（n－K）為自由度的t分布 。事實(shí)上，t的邊際分布仍是以（n—K）為自由度的t分布，不論X的分布是什么，甚至不 論X是隨機(jī)的還是非隨機(jī)的或者是混合的。 這個(gè)令人迷惑的結(jié)果來(lái)自f(t|X)不是X的函數(shù)這一事實(shí)，同樣的原因可以用來(lái)推演不 論X是不是隨機(jī)的，通常用以檢驗(yàn)線(xiàn)性約束的F比率都是有效的。 結(jié)論：若干擾項(xiàng)是正態(tài)分布的，我們可以在我們的過(guò)程中不加變化地進(jìn)行檢驗(yàn)和構(gòu)造 參數(shù)的置信區(qū)間，而不去考慮回歸量是隨機(jī)的、非隨機(jī)的，還是它們的混合。 3、擬合優(yōu)度和方差分析 由方差分解公式，我們有：[pic]。我們用冪等矩陣M0來(lái)表示： [pic] [pic] [pic] 所以，[pic]和[pic] 進(jìn)一步研究回歸平方和SSR與殘差平方和SSE，我們可以得到下面三個(gè)結(jié)論： a）在β=0的假設(shè)條件下，回歸平方和[pic]服從自由度為K－1的卡方分布x2(K－1)； b）殘差平方和[pic]服從自由度為n－K的卡方分布x2(n－K)； c）在β=0的假設(shè)條件下，[pic]服從F（k-1,n－k）分布。 證明：a）M0－M是冪等矩陣。先證明M0M+MM0=2M。 M0M+MM0 [pic] [pic] =2M 從而[pic] [pic] 所以，[pic]。 在β=0的假設(shè)條件下，[pic]才服從自由度為K－1的卡方分布x2(K－1)（為什么？） b）因?yàn)镸是冪等矩陣而且[pic][pic] c）只要驗(yàn)證[pic]即可。 事實(shí)上，[pic] [pic]。 和前一章的情況一樣，我們要對(duì)回歸模型的好壞，作出評(píng)價(jià)，決定系數(shù)[pic]就是對(duì) 模型擬合的一個(gè)度量，計(jì)算R2有兩個(gè)等價(jià)的方法。 決定系數(shù)[pic] 進(jìn)一步推導(dǎo)和化解，我們可以得到R2另一個(gè)公式。 [pic]，以及M0e=e（表示殘差已經(jīng)具有零均值）和X′e=0。 [pic] 所以，[pic] [pic] [pic] [pic] 第一個(gè)方法度量了y的總變差中由回歸變差所解釋的部分，第二個(gè)是y的觀測(cè)值和由估 計(jì)的回歸方程所產(chǎn)生的預(yù)測(cè)值間的相關(guān)系數(shù)的平方。 當(dāng)利用R2來(lái)比較不同的線(xiàn)性統(tǒng)計(jì)模型的擬合度時(shí)，存在一個(gè)嚴(yán)重的缺點(diǎn)，就是它的值 隨著解釋變量的增多而增大。為了克服這個(gè)缺點(diǎn)，我們可以用調(diào)整的R2來(lái)測(cè)度一個(gè)模型 的解釋能力，這個(gè)調(diào)整的R2被記[pic]，它的表達(dá)式為 [pic] [pic] 這里[pic]的無(wú)偏估計(jì)量，（思考：當(dāng)y服從正態(tài)分布時(shí)，[pic]的一個(gè)無(wú)偏估計(jì)量） 。[pic]不同的是，隨著解釋變量的增多，它的值可能變小，甚至要能取負(fù)值。 因?yàn)閇pic] 所以，SSR=[pic] [pic] [pic] 我們得到了回歸方差的另一個(gè)表達(dá)式，請(qǐng)見(jiàn)多元線(xiàn)性回歸模型方差分析表。 表1 多元線(xiàn)性回歸模型方差分析 | |來(lái)源 |自由度 |均方 | |回歸 |[pic] |K－1 | | |殘差 |[pic] |n－K |s2 | |總 |[pic] |n－1 |[pic] | |[pic] | 4、回歸的顯著性檢驗(yàn) 一個(gè)通常要檢驗(yàn)的假定是回歸方程作為整體的顯著性，這是對(duì)除了常數(shù)項(xiàng)外所有常數(shù) 都為0的假設(shè)的聯(lián)合檢驗(yàn)。若所有系數(shù)為0，則多重相關(guān)系數(shù)為0，所以我們可以將這一假 定的一個(gè)檢驗(yàn)基于R2值上。統(tǒng)計(jì)量 [pic] 服從自由度為K－1和n－K的F分布，檢驗(yàn)的邏輯是，F(xiàn)統(tǒng)計(jì)量是對(duì)我們強(qiáng)加所有斜率都是 0的這一約束時(shí)的擬合損失的一個(gè)度量（R2的全部），若F大，假設(shè)被拒絕。 五、預(yù)測(cè) 多元回歸環(huán)境下的預(yù)測(cè)結(jié)果與前一章中討論的那些本質(zhì)是一樣的。假定我們希望預(yù)測(cè) 與回歸向量x0相應(yīng)的y0值。它將是 [pic] （[pic]，且 [pic] i=1,…,n） 由高斯—馬爾科夫定理知 [pic] 是y0的最小方差線(xiàn)性無(wú)偏估計(jì)量。 個(gè)體預(yù)測(cè)（Individual Prediction）誤差是 [pic] （[pic]，且 [pic] i=1,…,n） 這個(gè)估計(jì)的預(yù)測(cè)方差是 [pic] [pic] 若回歸含有一個(gè)常數(shù)項(xiàng)，一個(gè)等價(jià)的表達(dá)式是 [pic] 其中X是X的不包含全為1的列的最后K－1列。這表明，和以前一樣，區(qū)間的寬度依賴(lài) 于x0的元素與數(shù)...
上課材料之六