上課材料之十一(簡約版)
第十章 非球形擾動項與廣義最小二乘（GLS） 1. 問題的提出 多元化回歸模型擾動項違背古典假設(shè)的更一般的模型是廣義回歸模型，即假設(shè) [pic] （1） 其中Ω是一般的正定矩陣，而不是在古典假設(shè)的情況下的單位矩陣。古典假設(shè)條件情況只 是這種模型的一個特例。 我們將考察的正定矩陣Ω兩種特殊的情況是異方差性和自相關(guān)。 異方差性 當(dāng)擾動項有不同的方差時，它們就是異方差的，異方差性經(jīng)常產(chǎn)生于橫截面數(shù)據(jù)，其 中因變量的尺度（scales）和模型解釋能力在不同的觀察值之間傾向于變動。我們?nèi)匀?假設(shè)不同觀測值之間擾動無關(guān)。因此σ2Ω是 [pic] 自相關(guān) 自相關(guān)經(jīng)常出現(xiàn)在時間序列數(shù)據(jù)中，經(jīng)濟時間序列經(jīng)常表現(xiàn)出一種“記憶”，因為變化 在不同時期之間不是獨立的。時間序列數(shù)據(jù)通常是同方差的，因此σ2Ω可能是 [pic] 非對角線上的值依賴于擾動項的模式。 普通最小二乘法（OLS）的結(jié)果 具有球形干擾項 [pic] 和 [pic] （2） 重申前面的內(nèi)容，普通最小二乘估計量， [pic] （3） 是最佳線性無偏的、一致的和漸近正態(tài)分布的（CAN=Consistent and asymptotically normally distributed），并且如果干擾項服從正態(tài)分布，在所有CAN估計量中它是漸近有效的。 現(xiàn)在我們考察哪些特性在（1）模型中仍然成立。 有限樣本特性 對（3）兩邊取期望，如果[pic]，則 [pic] （4） 如果回歸量和擾動項是無關(guān)的，則最小二乘法的無偏性不受（2）假設(shè)變化的影響。 最小二乘法估計量的樣本方差是 [pic] [pic] [pic] [pic]（5） 在（3）中，b是[pic]的線性函數(shù),因此，如果[pic]服從正態(tài)分布，則 [pic] 由于最小二乘估計量的方差不再是[pic]，任何基于[pic]的推斷都可能導(dǎo)致錯誤。不 僅使用的矩陣是錯誤的，而且s2也可能是[pic]的有偏估計量。通常無法知道[pic]是比 b的真正方差大還是小，因此即使有[pic]的一個好的估計，Var[b]的傳統(tǒng)估計量也不會 有用。 最小二乘法的漸近特性 如果Var[b]收斂于0，則b是一致的。使用表現(xiàn)良好的回歸量，[pic]將收斂到一個常 數(shù)矩陣（可能是0），并且最前面的乘子[pic]將收斂于0。但[pic]不一定收斂，如果它 收斂，則從（5）式可推斷普通最小二乘是一致的和無偏的。因此 如果[pic]都是有限正定矩陣，則b是β的一致估計量。 上述結(jié)論成立的條件依賴于X和Ω。 另一種分離這兩個組成部分的處理辦法是： 如果 1、X′X最小的特征根當(dāng)[pic]時無限制地增加，這意味著[pic]； 2、Ω最大的特征根對于所有n都是有限的。對于異方差模型，方差就是特征根。因此 ，要求它們是有限的。對于有自相關(guān)的模型，這要求Ω的元素有限并且非對角線元素與對 角線元素相比不是特別大。那么，普通最小二乘法在廣義回歸模型中是一致的。 說明普通最小二乘法是不一致的模型 假定回歸模型是[pic]，其中[pic]的均值為0，方差為常數(shù)并且在不同觀測值之間具 有相同的相關(guān)系數(shù)[pic]。于是 [pic] 矩陣X是一列1。μ的普通最小二乘估計量是[pic]=[pic]。把Ω代入（5），得 [pic] （5a） 這個表達式的極限是[pic]而不是0。盡管OLS是無偏的，但它不是一致的。對于這個 模型，[pic]不收斂。由于X是一列1，因此[pic]是一個標(biāo) 量，滿足條件1；但是，Ω的特征根是[pic]（重數(shù)是n-1）和[pic]，不滿足條件2；這個 例子中模型的困難是不同觀測值間有太多的相關(guān)。在時間序列情況下，我們一般要求觀 測值之間關(guān)于時間的相關(guān)系數(shù)隨它們之間距離增加而減小。這里條件沒有被滿足。關(guān)于 在簡介中曾討論的自相關(guān)擾動項的協(xié)方差矩陣上需要附加什么種類的要求，這給出一些 很有意義的信息。 如果 [pic] （5b） 的極限分布是正態(tài)的，則OLS估計量漸近地服從正態(tài)分布。如果[pic]，那么右邊項的極 限分布與 [pic] （5c） 的分布相同，其中[pic]是X的一行（當(dāng)然假定極限分布確實存在）?，F(xiàn)在，問題是中心 極限定理是否可以直接應(yīng)用于v。如果擾動項只是異方差的而且仍是無關(guān)的，答案通常是 肯定的。在這種情況下，很容易看到只要X表現(xiàn)良好，而且Ω對角元素是有限的，最小二 乘估計量是漸近正態(tài)分布的，方差矩陣由（5）給出。對于大多數(shù)一般的情況，答案是否 定的，因為（5c）中的和不一定是相互獨立或是甚至無關(guān)的隨機變量的和。不過，雨宮 （1985）和安德森（1971）曾指出，自相關(guān)擾動項的模型中b的漸近正態(tài)性是足夠普遍的 ，以致于包括了我們在實際中可能遇到的大多數(shù)情況。我們可以得到結(jié)論，除了在特別 不利的情況 下， b漸近地服從均值為β，方差矩陣由（5）給出的正態(tài)分布。 總之，OLS在這個模型中只保留了它的一些可取性質(zhì)，它是無偏的、一致的和漸近正 態(tài)分布的。不過，它不是有效。我們需要尋求b的有效估計。 2. 廣義最小二乘（GLS） 在廣義回歸模型中，β的有效估計需要關(guān)于Ω的知識。我們只考察Ω是已知的、對稱正 定矩陣的情況，這種情況偶爾會發(fā)生，但在大多數(shù)的模型中Ω包含必須估計的未知參數(shù)。 由于Ω是正定對稱矩陣，它可以分解為 [pic] （6） 其中C的各列是Ω的特征向量經(jīng)過正交化而得到，即CC’=I，而且Ω的特征根被放在對角 矩陣[pic]中。令[pic]是對角元素為[pic]的對角矩陣。 如果令[pic]，則 [pic] 用P’前乘（1）中的模型可得 [pic] 或 [pic] （7） [pic]的方差是 [pic] 因此，這個變換后的模型就是一個我們熟悉的古典回歸模型。由于Ω已知，所以，[pic] 是可觀測數(shù)據(jù)。在古典回歸模型中，OLS是有效的。 因此[pic] 是[pic]的有效估計量。這是[pic]的廣義最小二乘（GLS）估計量。按照古典回歸模型， 我們有以下結(jié)論： 如果[pic]，GLS估計量[pic]是無偏的。這等價于[pic]，但由于P是已知常數(shù)的矩陣 ，即要求[pic]，也即要求回歸量與擾動項是無關(guān)的，是我們模型的基本假設(shè)。 如果 [pic] （8） GLS估計量是一致的，其中Q*是有限正定矩陣。進行替換可得 [pic] （9） 我們需要的是變換后的數(shù)據(jù)[pic]而不是原始數(shù)據(jù)X的數(shù)據(jù)。 根據(jù)（9）的假設(shè)，GLS估計量是漸近正態(tài)分布的，均值為[pic]，樣本方差為 [pic] （10） 通過對（7）中的模型應(yīng)用高斯—馬爾科夫定理可得如下的艾特肯（1935）定理： GLS估計量[pic]是廣義回歸模型中的最小方差線性無偏估計量。 [pic]有時被稱為艾特肯估計量。這是一個一般性結(jié)果，當(dāng)[pic]時高斯—馬爾科夫定理是 它的一個特例。 對于假設(shè)檢驗，我們可以把所有結(jié)果應(yīng)用到變換后的模型（7）中。為了檢驗J個線性 約束Rβ=q，相應(yīng)的統(tǒng)計量是 [pic] [pic]， 其中殘差向量是[pic] 而 [pic] 有約束的GLS殘差[pic]，基于 [pic][pic] [pic] （11） 總之，對于古典模型的所有結(jié)果，包括通常的推斷過程，都適用于（7）中的模型。 應(yīng)該注意的是：在廣義回歸模型中沒有R2的準確對等物。不同的統(tǒng)計量有不同的意義 ，但使用它們時一定要謹慎。 3. 可行的最小二乘估計（FGLS） 上一節(jié)的結(jié)果是基于Ω必須是已知的條件基礎(chǔ)上的。如果Ω含有必須估計的未知參數(shù)， 則GLS是不可行的。但在無約束的情況下，[pic]中有n(n+1)/2個附加參數(shù)。這對于用n個 觀測值來估計這么多的參數(shù)是不現(xiàn)實的。只有當(dāng)模型中需要估計的參數(shù)較少時，即模型 中Ω某種結(jié)構(gòu)要簡化，才可以找到求解的方法。 可行的最小二乘估計（FGLS） 具有代表性的問題涉及到一小組參數(shù)[pic]，滿足[pic]。例如，[pic]只有一個未知 數(shù)[pic]，其常見的表達形式是 [pic]， 一個也只包含一個新參數(shù)的異方差模型是 [pic] 接下來，假定[pic]是[pic]的一致估計量（如果我們知道如何求得這樣的估計量）為了 使GLS估計可行，我們將使用 [pic] 替代真正的[pic]。我們所考慮的問題是利用[pic]是否要求我們改變上節(jié)的某些結(jié)果。 如果[pic]，利用[pic]似乎漸近等價于利用真正的[pic](根據(jù)slutsky定理)。當(dāng)然我 們還需要滿足一些其他的相應(yīng)的條件。令可行廣義最小二乘（或FGLS）估計量記為 [pic] 那么，[pic]漸近等價于[pic]的條件是 [pic][pic] （18） 和 [pic] （19） 如果（7）中變換后的回歸量表現(xiàn)良好，則（19）右邊服務(wù)從極限正態(tài)分布。這正是 我們求最小二乘估計量的漸近分布時所利用的條件。因此，當(dāng)[pic]替[pic]時（19）要 求同樣的條件成立。 這些是必須逐個情況進行核實的條件。但在大多數(shù)情況中，它們的確成立。如果我們 假設(shè)它們成立，基于[pic]的FGLS估計量與GLS估計量具有同樣的漸近性質(zhì)。這是一個相 當(dāng)有用的結(jié)果。特別地，注意以下結(jié)論： 1、一個漸近有效的FLGS估計量不要求我們有[pic]的有效估計量，只需要一個一致估 計量。 2、除了最簡單的情況，F(xiàn)GLS估計量的有限樣本性質(zhì)和精確分布是未知的。FGLS估計 量的漸近有效性在小樣本的情況下可能不再成立，這是因為由估計的[pic]引入的易變性 。對于異方差情況的一些分析由泰勒（1977年）給出。自相關(guān)的模型由格涅里切斯和拉 奧（1969年）做了分析。在這兩項研究中，他們發(fā)現(xiàn)對于許多類型的參數(shù)，F(xiàn)GLS比最小 二乘更為有效。但是，如果偏離古典假設(shè)不太嚴重，在小樣本情況下最小二乘可能比FG LS更有效。 四）異方差的檢驗異方差的多數(shù)檢驗均基于下述策略 即便存在異方差性，普通最小二乘也是[pic]的一致估計量。所以，盡管由于抽樣變 化而不是十分完美，普通最小二乘殘差仍將非常近似于真實擾動的異方差。因此，在大 多數(shù)情況下，為判定異方差性是否存在而設(shè)計的檢驗均采用普通最小二乘殘差。 一、懷特的一般檢驗(White’s General Test) 能對下述一般假設(shè)進行檢驗是乎是合理的檢驗 [pic]對所有i [pic] 用n個樣本對n個參數(shù)的模型進行的估計，是一件十分困難的事，因此，對這種檢驗是 極具挑戰(zhàn)性的。但這種檢驗已經(jīng)被懷特于1980年設(shè)計出來。 異方差條件下的最小二乘估計量（OLS）的協(xié)方差矩陣是： [pic] 我們可用如下式對它加以估計 Est. [pic] 如果不存在異方差性，最小二乘估計量（OLS）的協(xié)方差矩陣是： Var[b]=[pic] 可得到Var[b]的一個估計量， [pic] 方法：將[pic]對一個常數(shù)X中所有的單一變量的組合組成的變量進行回歸，得到nR2 。 這個統(tǒng)計量漸近地服從P-1 個自由度的卡方分布，即nR2～x2(P－1)，（Why？），其中R2=SSR/SST，P為回歸量的數(shù) 量，但不包含常數(shù)。 懷特檢驗極為一般。為進行此檢驗，我們不需對異方差的性質(zhì)作任何特定的假設(shè)。盡 管這是優(yōu)點，但同時也是極為嚴重缺點。懷特檢驗可揭示異方差性，但也可能導(dǎo)致簡單 地識別某些其他的設(shè)定誤差（如從一個簡單回歸中省略[pic]）。此外，不同于我們要討 論的其他檢驗，懷特檢驗是非建設(shè)性，如果我們拒絕同方差假設(shè)，檢驗的結(jié)果對我們下 一步應(yīng)當(dāng)做什么沒有任何啟示。 二、戈德菲爾德一匡特檢驗(The Goldfeld-Quandt Test) 另外兩個相對一般性的檢驗是戈爾德一匡特檢驗（1965）和布羅施一帕甘（1979）拉 格朗日乘數(shù)檢驗。 對于戈德菲爾德一匡特檢驗，我們假設(shè)觀測值的擾動方差相同，而在備擇假設(shè)情況下 ，擾動方差可存在系統(tǒng)性差別。此檢驗最理想的情形是組間異方差模型或者對某變量[pic] 滿足[pic]的這類模型。以該[pic]為基礎(chǔ)對觀測值進行排列，可將觀測值分成高方差和 抵方差兩部分。通過將樣本分成具有[pic]和[pic]個觀測值的兩組來進行此檢驗。為獲 得統(tǒng)計上獨立的方差估計量，回歸是采用兩組觀測值分別進行估計的。該檢驗統(tǒng)計量為 ： [pic]， 其中我們假定第一個樣本中的擾動方差大于第二組（若非如此，可變換下標(biāo)）。在同方 差的零假設(shè)情況下，此統(tǒng)計量為自由度是[pic]的[pic]分布?？蓪颖局祵φ諛?biāo)準[pic] 表，若樣本值較大，則可拒絕零假設(shè)，這樣檢驗就完成了。 提請注意的是：如果擾動項是正態(tài)分布的，戈德菲爾德一匡特統(tǒng)計量在零假設(shè)下嚴格 服從[pic]分布，且該檢驗的名義值是合適的；但如果擾動項不是正態(tài)分布，則[pic]分 布是不適當(dāng)?shù)模枰哂幸阎髽颖拘再|(zhì)的某些備擇方法。
上課材料之十一(簡約版)