上課材料之十
第九章 非線性回歸模型 回歸模型的一般形式是 [pic] （1） 很明顯，線性模型只是一種特殊情況，我們應(yīng)該討論更一般的模型（1）。 例如， [pic] （2） 不能變換到線性形式。 1 線性化回歸 非線性回歸模型是 [pic] （為簡化記號，我們?nèi)サ袅擞^測值的下標）非線性回歸模型的許多結(jié)果是基于在參數(shù) 向量的一個特定值[pic]處（如由經(jīng)驗得到的數(shù)據(jù)時）對[pic]的一個線性泰勒級數(shù)來近 似： [pic] （3） 這被稱為線性化回歸模型。整理各項可得 [pic] 令[pic]等于第k個偏微分[pic]。對于[pic]的一個給定值，這[pic]是數(shù)據(jù)而不是含未知 參數(shù)的函數(shù)。于是 [pic] [pic] 或 [pic] 把已知項移到方程左邊，可得回歸模型： [pic] （4） 有了[pic]值，我們就可以計算[pic]并通過線性最小二乘法估計（4）中的參數(shù)。 然后，進行再次的迭代和回歸，直至收斂和滿足我們的精度要求。 [例] 對于（2）所給的非線性回歸模型，線性化方程中的回歸量是 [pic] [pic] 有了一組參數(shù)[pic] [pic] 可以對前面為估計[pic]而定義的三個變量進行回歸。 2、非線性最小二乘估計 最小二乘法仍然是一種比較具有吸引力的估計參數(shù)的方法。對于這種估計量已經(jīng)得到 許多分析結(jié)果，例如，一致性和漸近正態(tài)性。然而，除了在擾動項是正態(tài)分布的情況下 ，我們不能肯定非線性最小二乘估計量是最有效的估計量。（這和我們對于線性模型所 得的結(jié)論是一樣的）下面的一些例子將說明這一點。 在繼續(xù)之前，有必要關(guān)于回歸量做些假設(shè)。賈奇等人（1985）和雨宮（1985）曾詳細 地討論過精確的要求。在古典回歸模型中，為了得到漸近結(jié)果，我們假設(shè)樣本矩矩陣（ 1/n）X′X收斂于一個正定矩陣Q。類似地，當線性化模型中的“回歸量”在真實參數(shù)值處被 計算時，我們在其上附加相同的條件。因此，對于非線性回歸模型，與以前類似的是 [pic] （5） 其中[pic]是正定矩陣。根據(jù)這個公式，非線性最小二乘估計量的漸近性質(zhì)可以導(dǎo)出 。實際上，除了在這種情況下我們把[pic]中的導(dǎo)數(shù)也作為回歸量之外，它們與我們已見 到的線性模型的漸近性質(zhì)十分相似。 （5）中的矩陣收斂于正定矩陣的要求還附帶回歸量矩陣[pic]的各列是線性無關(guān)的條件 。這是一個識別條件，類似于線性模型中的解釋變量是線性無關(guān)的要求。 非線性最小二乘準則函數(shù)是 [pic] 其中我們已經(jīng)代入即將是解的b。最小化的一階必要條件是 [pic] 注意 [pic] 這與線性模型的情況相同。這是非線性最優(yōu)化的一個標準問題，可以用許多方法來求解 。高斯—牛頓方法在這種情況下經(jīng)常使用?；叵胛覀冴P(guān)于線性回歸模型的討論，如果[pic] 的值是可以獲得的，那里所顯示的線性回歸模型可以用普通最小二乘法來估計。一旦回 到一個參數(shù)向量，它就可以作為一個新的[pic]，計算可以繼續(xù)進行。迭代可以一直進行 到相鄰兩個參數(shù)向量的差是足夠小可以認為已經(jīng)收斂為止。這個方法的主要優(yōu)點之一是 在最后一步迭代，[pic]的估計，除了[pic]，給出了參數(shù)估計漸近方差矩陣的正確估計 。[pic]的一致估計可以利用殘差來計算： [pic] （6） （自由度校正1/（n－K）在這里沒有價值，因為所有結(jié)果在任何情況下都是漸近的和[pic] 的事實。 [pic] 其中 [pic] 漸近協(xié)方差矩陣的樣本估計是 [pic] 只要得到這些結(jié)果，推論和假設(shè)檢驗就可以按前幾章中所描述的同樣方式進行。在評價 回歸擬合值中產(chǎn)生一個小問題，因為 [pic] 不再保證在零到1的范圍內(nèi),(因為估計的誤差[pic]有可能足夠的大)。然而，它仍給出了 一個有用的描述性度量。
上課材料之十