第五章回歸分析預測法
1. 一元線性回歸分析預測法 1. 概念（思路） 根據(jù)預測變量（因變量）Y和影響因素（自變量）X的歷史統(tǒng)計數(shù)據(jù)，建立一元線性回 歸方程[pic]，然后代入X的預測值，求出Y的預測值的方法。 基本公式：y=a+bx 其中：a、b為回歸系數(shù)，是未知參數(shù)。 基本思路： 1. 利用X，Y的歷史統(tǒng)計數(shù)據(jù)，求出合理的回歸系數(shù)：a、b，確定出回歸方程 2. 根據(jù)預計的自變量x的取值，求出因變量y的預測值。 2. 一元線性回歸方程的建立 1. 使用散點圖定性判斷變量間是否存在線性關系 例：某地區(qū)民航運輸總周轉量和該地區(qū)社會總產(chǎn)值由密切相關關系。 |年份 |總周轉量（億噸公里）Y |社會總產(chǎn)值(百億元)X | |1 |12.5 |30 | |2 |14.5 |36 | |3 |14.7 |38 | |4 |15.1 |41 | |5 |15.5 |48 | |6 |16.8 |52 | |7 |17.5 |53 | |8 |18.2 |53.5 | |9 |18.8 |55 | 2. 使用最小二乘法確定回歸系數(shù) 使實際值與理論值誤差平方和最小的參數(shù)取值。 對應于自變量xi，預測值（理論值）為b+m*xi，實際值yi， min∑(yi-b-mxi)2，求a、b的值。 使用微積分中求極值的方法，得： 由下列方程代表的直線的最小二乘擬合直線的參數(shù)公式： 其中 m 代表斜率 ，b 代表截距。 一元線性回歸.xls 3. 回歸方程的顯著性檢驗 判斷X、Y之間是否確有線性關系，判定回歸方程是否有意義。 有兩類檢驗方法：相關系數(shù)檢驗法和方差分析法 1. 相關系數(shù)檢驗法 構造統(tǒng)計量r [pic] 相關系數(shù)的取值范圍為：[- 1，1]，|r|的大小反映了兩個變量間線性關系的密切程度，利用它可以判斷兩個變量 間的關系是否可以用直線方程表示。 |r值 |兩變量之間的關系 | |r=1 |完全正相關 | |1>r>0 |正相關，越接近1，相關性越強。越接近0，相 | | |關性越弱 | |r=0 |不線性相關 | |0>r>-1|負相關，越接近-1，相關性越強；越接近0，相| | |關性越弱 | |r=-1 |完全負相關 | 兩個變量是否存在線性相關關系的定量判斷規(guī)則： 對于給定的置信水平α，從相關系數(shù)臨界值表中查出r臨（n- 2），把其與用樣本計算出來的統(tǒng)計量r0比較： 若|r0|〉r臨（n- 2）成立，則認為X、Y之間存在線性關系，回歸方程在α水平上顯著。差異越大，線性關 系越好。反之則認為不顯著，回歸方程無意義，變量間不存在線性關系。 其中：n為樣本數(shù)。 2. 方差分析法： 方差分析的基本特點是把因變量的總變動平方和分為兩部分，一部分反映因變量的 實際值與用回歸方程計算出的理論值之差，一部分反映理論值與實際值的平均值之差 。 Y的總變差=Y的殘余變差+Y的說明變差，SST=SSE+SSR 或：總離差平方和=剩余平方和+回歸平方和 [pic] 回歸平方和U與剩余平方和Q相比越大，說明回歸效果越好。 注：在方差分析中，已被解釋的和未被解釋的變差除以相應的自由度的個數(shù)即變?yōu)榉讲?。Y的方差是Y的總偏差平方和除以n- 1，被解釋的方差等于被解釋的變差（因為回歸只比估計Y的均值多用一個約束條件） ，殘余方差等于殘差偏差平方和除以n- 2，殘差的方差S2是誤差方差的無偏且一致的估計（S叫做回歸標準差）S2=Q/(n-m) 定量判斷回歸有效性有兩種方法： 1) 可決系數(shù)檢驗法 擬合優(yōu)度統(tǒng)計量；判定系數(shù) ：r2=SSR/SST=U/Syy 調整的r2 =1-[Q/(n-m)]/[Syy/(n-1)] 復相關系數(shù)檢驗法：構造統(tǒng)計量R=SQRT［1-Q/Syy］=SQRT（U/Syy） 判斷規(guī)則： 對于給定的置信度α，從相關系數(shù)r分布表中查出r臨（n- m），把其與用樣本計算出來的統(tǒng)計量R0比較： 若R0〉r臨（n- m）成立，則認為回歸方程在α水平上顯著。反之則認為不顯著，回歸方程無意義， 變量間不存在線性關系。 2) F檢驗法：構造統(tǒng)計量F=（U/m-1）/［Q/（n-m）］ 其中：m為變量個數(shù)（總數(shù)）；n為樣本數(shù)。 統(tǒng)計量F服從第一自由度為m-1、第二自由度為n-m的 F（m-1，n-m）分布。 F=r2/(1-r2)*(n-m)/(m-1) 判斷規(guī)則： 對于給定的置信度α，從F分布表中查出Fα（m-1，n- m），把其與用樣本計算出來的統(tǒng)計量F0比較： 若F0〉Fα（m-1，n- m）成立，則認為回歸方程在α水平上顯著。反之則認為不顯著，回歸方程無意義， 變量間不存在線性關系。 4. 回歸方程沒有通過檢驗的原因 1. 定性分析選擇的各變量間，本來不存在因果關系。定性分析設想不準確。 2. 選擇的變量間存在因果關系，但還存在其它起著更重要作用的變量尚未列入模型之中 。 3. 選擇變量之間的關系是非線性關系。 5. 利用檢驗通過的回歸方程進行預測 y=6.34+0.213x 點估計值：若給定x值，則y的預測值為6.34+0.213*58=18.69 區(qū)間估計： 標準誤差：S=sqrt((∑e^2)/(n-m)) 2. 一元非線性回歸分析預測法 思路：與一元線性回歸分析基本相同。即通過變量替換將非線性方程轉化為線性方程； 使用最小二乘法建立線性回歸方程；在通過逆變換將線性方程轉化為非線性方程。 函數(shù)的線性變換及逆變換是個數(shù)學問題，不講了。 例題，參見160頁：航空貨物周轉量=a*（社會總產(chǎn)值）α 196頁，SB機場空運需求預測 202頁，利雅得國際機場業(yè)務量預測 3. 多元回歸分析 1. 思路 多元非線性回歸分析——轉換為多元線性回歸分析，多元線性回歸分析，與一元線性回 歸分析基本相同，只是在自變量的選定上、求解回歸方程及統(tǒng)計檢驗等方面比一元回歸 要復雜一些。 設多元線性回歸模型為：y=b0+b1*x1+b2*x2+……+bm*xm 2. 參數(shù)求法為最小二乘法： min∑（yi-（b0+b1*x1i+b2*x2i+……+bm*xmi ））2 分別對bj求偏導數(shù)，偏導數(shù)等于0時，上式取得最小值。 可以得到m+1個關于bj的標準方程，使用線性代數(shù)中的行列式解法，可以求出回歸系數(shù)b j。 以二元回歸分析為例，說明多元回歸方程的建立 1. 定性判斷得知，因變量Y與自變量X1, X2存在線性相關關系。模型形式為：y=b0+b1*x1+b2*x2 2. 確定回歸系數(shù)b0、b1、b2，最小二乘法。分別對b0、b1、b2求偏導，令偏導數(shù)=0，構成 如下方程組： 手工列表計算： 3. 回歸方程的統(tǒng)計檢驗 1. 回歸方程的顯著性檢驗，檢驗回歸方程的有效性 檢驗方法有：F檢驗法、復相關系數(shù)檢驗法 2. 回歸系數(shù)的顯著性檢驗，檢驗回歸系數(shù)的有效性， 檢驗方法有：t檢驗法 構造統(tǒng)計量t 其中：m為變量個數(shù)；n為樣本數(shù)。 統(tǒng)計量t服從自由度為n-m的t（n-m）分布。 判斷規(guī)則： 對于給定的置信度α，從t分布表中查出tα/2（n- m），把其與用樣本計算出來的統(tǒng)計量t0比較： 若t0〉tα（n- m）成立，則認為回歸方程在α水平上顯著。反之則認為不顯著，回歸系數(shù)無意義，變量 間不存在線性相關關系。 統(tǒng)計假設檢驗總結：對于一元回歸，四種檢驗方法選一即可；對于多元回歸必須進行t檢 驗和R、F間嚴重的一種。 |檢驗目的 |檢驗方法 |統(tǒng)計量 |判斷規(guī)則 | | |相關系數(shù)檢驗法 |r | | |檢驗回歸方程的有效| | | | |性 | | | | | |復相關系數(shù)檢驗法 |R | | | |F檢驗 |F | | |檢驗回歸系數(shù)的有效|t檢驗 |t | | |性 | | | | 4. 例題： 國外預測模型簡介 全行業(yè)運量預測 5. 幾個基本問題及內在假設 1. 自變量的選擇——（回歸分析測法的程序） 1) 確定預測變量 2) 確定影響預測變量的因素——定性分析，具有經(jīng)濟上的意義和內在的因果關系。 3) 收集整理預測變量及其影響因素的歷史統(tǒng)計資料 4) 分析因變量和自變量的關系，確定回歸模型——定量分析，因變量與自變量、自變 量之間的相關系數(shù)，判別因變量和自變量是否顯著相關，顯著相關的影響因素 作為自變量；同時與因變量不相關或與某個自變量高度線性相關的自變量，應 予剔除。 實踐經(jīng)驗確定 散點圖分析確定 理論試算（計算擬和誤差（預測誤差）），選出擬和程度最好的模型 5) 求解模型參數(shù)，建立回歸方程 6) 檢驗回歸方程的有效性 7) 利用檢驗通過的回歸方程進行預測，并確定預測值的置信區(qū)間 2. 多元共線性（多重共線性） 1. 概念：回歸分析中，自變量之間存在著相關關系，稱這種關系為多元共線性。 多元回歸分析的假設是自變量之間是獨立的。得出的參數(shù)估計值是不可靠的。 例如：某省宏觀經(jīng)濟模型中， 建筑業(yè)產(chǎn)值=2.1684+0.1601*工業(yè)總產(chǎn)值- 0.0795*上年工業(yè)總產(chǎn)值+0.5651*上年建筑業(yè)產(chǎn)值 負號的出現(xiàn)很難解釋，上年工業(yè)總產(chǎn)值和上年建筑業(yè)產(chǎn)值存在共線性。 2. 檢驗多元共線性的方法： U——χ2（m-1）分布 Q——χ2（n-m）分布 Syy——χ2（n-1）分布 擬和優(yōu)度判定系數(shù)： 1. 判定系數(shù)法：把某自變量用其它自變量進行回歸計算，計算相應的判定系數(shù)R2，若 R2較大，說明本自變量可以用其它自變量的線性組合替代，存在多重共線性。或 者用因變量分別與含有本自變量或不含有本自變量的自變量組合進行回歸計算， 若兩者計算的判定系數(shù)差不多，則說明本自變量與其它自變量間存在多元共線性 。 2. 逐步回歸法：逐個引進自變量，根據(jù)R2的變化情況判斷是否存在多重共線性。若R 2變化顯著，則不存在多重共線性，應引入；若R2無顯著變化，則無需引入。 3. 偏相關系數(shù)檢驗法，計算兩兩變量間的相關系數(shù)，進行分析檢驗。 3. 自相關（序列相關） 概念：若隨機誤差項在不同樣本之間存在相關性，ei與ej相關，則稱為序列相關；較 多的是ei與eI+1之間序列相關，稱為自相關 自相關的檢驗： 1. 達賓—沃爾森檢驗 計算出D.W值后，查達賓—沃爾森檢驗表判定是否存在自相關。 2. 馮諾曼比檢驗 3. 回歸檢驗 4. 線性假設 回歸的另一假設是線性假設，因變量和自變量間的關系可以用線性表示出來。無法將 其轉化為線性的回歸方程，不能采用回歸分析方法，而要采取別的方法，如仿真方法。 5. 樣本數(shù)據(jù) 樣本數(shù)據(jù)的多少，影響變量個數(shù)的選擇。5個數(shù)據(jù)，一個自變量；三十個數(shù)據(jù)，最多只 能有5個自變量。 有20個到30個樣本數(shù)據(jù)，預測精度較高。 4. 自回歸分析——實質是時間序列分析法 利用預測變量本身的時間序列在不同時期取值之間存在的依存關系，即自身相關， 建立起回歸方程進行預測的方法。 預測模型：yt=b0+b1yt-1+ b2yt-2+ ……+bnyt-n+e ——AR（n） n=1時，稱為一階自回歸分析 例題見書上。 ----------------------- [pic] [pic] [pic] [pic] [pic] [pic] [pic] [pic] [pic]
第五章回歸分析預測法