回歸7-1
7. 回歸分折 討論隨機(jī)變量與非隨機(jī)變量之間的關(guān)系的問題稱回歸分析；討論隨機(jī)變量之間的關(guān)系的 問題稱相關(guān)分析．對于這兩種問題，或統(tǒng)稱回歸分析，或統(tǒng)稱相關(guān)分析都可以． [pic] 但是，自然界的眾多的變量間，還有另一類重要關(guān)系，我們稱之為相關(guān)關(guān)系．例如， 施肥量與農(nóng)作物產(chǎn)量之間的關(guān)系，這種關(guān)系雖不能用函數(shù)關(guān)系來描述，但施肥量與產(chǎn)量 有關(guān)系，這種關(guān)系就是相關(guān)關(guān)系，又比如，人的身高與體重的關(guān)系也是相關(guān)關(guān)系，雖然 人的身高不能確定體重，但總的說來，身高者，體也重些，總之，在生產(chǎn)斗爭與科學(xué)實(shí) 驗(yàn)中，甚至在日常生活中，變量之間的相關(guān)關(guān)系是普遍存在的．其實(shí)，即使是具有確定 性關(guān)系的變量間，由于實(shí)驗(yàn)誤差的影響，其表現(xiàn)形式也具有某種的不確定性． 回歸分折方法是數(shù)理統(tǒng)計(jì)中一個(gè)常用方法，是處理多個(gè)變量之間相關(guān)關(guān)系的一種數(shù)學(xué)方 法,．它不僅提供了建立變量間關(guān)系的數(shù)學(xué)表達(dá)--- 通常稱為經(jīng)驗(yàn)公式的一般方法，而且還可以進(jìn)行分析，從而能判明所建立的經(jīng)驗(yàn)公式的 有效性，以及如何利用經(jīng)驗(yàn)公式達(dá)到預(yù)測與控制的目的．因而回歸分析法得到了越來越 廣泛地應(yīng)用． 回歸分析主要涉及下列內(nèi)容： (1)從一組數(shù)據(jù)出發(fā)，分析變量間存在什么樣的關(guān)系，建立這些變量之間的關(guān)系式(回歸 方程)，并對關(guān)系式的可信度進(jìn)行統(tǒng)計(jì)檢驗(yàn)； (2)利用回歸方程式，根據(jù)一個(gè)或幾個(gè)變量的值，預(yù)測或控制男一個(gè)變量的取值； (3)從影響某一個(gè)變量的許多變量中，判斷哪些變量的影響是顯著的，哪些是不顯著的 ，從而可建立更實(shí)用的回歸方程， (4)根據(jù)預(yù)測和控制所提出的要求，選擇試驗(yàn)點(diǎn)，對試驗(yàn)進(jìn)行設(shè)計(jì)． 我們在本章，重點(diǎn)討論一元線性回歸，對多元回歸只作簡單地介紹． §1 一元線性回歸 一元線性回歸分析中要考察的是：隨機(jī)變量[pic]與一個(gè)普通變量[pic]之間的聯(lián)系。 對有一定聯(lián)系的兩個(gè)變量： [pic] 與[pic]， 我們的任務(wù)是根據(jù)一組觀察值 [pic] 判斷[pic]與[pic]是否存在線性關(guān)系 [pic]，　 我們能否通過這組觀察值將確定系數(shù)[pic]與[pic]出來呢?這就是回歸問題要解決的問 題，且判斷[pic]與[pic]是否真存在此線性關(guān)系. 一 . 經(jīng)驗(yàn)公式與最小二乘法: 【例1】 纖維的強(qiáng)度與拉伸倍數(shù)有關(guān)．下表給出的是24個(gè)纖維樣品的強(qiáng)度與拉伸倍數(shù)的實(shí)測記錄 ．我們希望通過這張表能找出強(qiáng)度y與拉伸倍數(shù)x之間的關(guān)系式 [pic] 們將觀察值[pic]作為24個(gè)點(diǎn)，將它們畫在平面上，這張圖稱為散點(diǎn)圖，這散點(diǎn)圖 啟示我們，這些點(diǎn)雖然是散亂的，但大體上散布在一條直線的周圍．也就是說，拉伸倍 數(shù)與強(qiáng)度之間大致成線性關(guān)系．我們用 　　　　　　　　　　　　　 　　　　　　　　　　　　　　　?。ǎ?[pic] [pic] 確定，是線性的，要完全確定經(jīng)驗(yàn)公式， 就要確定(＊)中的系數(shù)[pic]和[pic]，這里[pic]通常稱為 回歸系數(shù)，關(guān)系式 [pic] 叫做回歸方程．　　　　 從散點(diǎn)圖來看，要找出[pic]與[pic]是不困難的，在圖上劃一條直線，使該直線總的來 看最“接近”這24個(gè)點(diǎn)．于是，這直線在y軸上的截距就是所求的[pic]，它的斜率就是所 求的[pic]．幾何方法雖然簡單，但是太祖糙，而對非線性形式的問題，就幾乎無法實(shí)行 ．然 而，它的基本思想，即“使該直線總的說來最接近這24個(gè)點(diǎn)”，卻是很可取的，問題是把 這基本思想精確化，數(shù)量化．下面介紹一種方法，求一條直線使其“總的來看最接近這2 4個(gè)點(diǎn)”，這就是最小二乘法． 給定的[pic]個(gè)點(diǎn)[pic],那么，對于平面上任意一條直線 [pic]: [pic] 我們用數(shù)量 [pic] 來刻畫點(diǎn)[pic]到直線[pic]的遠(yuǎn)近程度, 于是二元函數(shù) [pic] 就定量的描述了直線[pic]跟這[pic]個(gè)點(diǎn)的總的遠(yuǎn)近程度,這個(gè)量是隨不同的直線而變化 ,或者說是隨不同的[pic]與[pic]而變化的,于是要找一條直線, 使得該直線總的來看最“接近” 這 n個(gè)點(diǎn)的問題就轉(zhuǎn)化為: 要找兩個(gè)數(shù)[pic]與[pic], 使得二元函數(shù)[pic]在[pic]處達(dá)到最小, 即　　　 　　　　　　　　　　　　　[pic] 　 由于[pic]是[pic]個(gè)量平方之和，所以“使[pic]最小”的原則稱為平方和最小原則，習(xí)慣 上稱為最小二乘原則．由最小二乘原則求[pic]與[pic]估計(jì)值的方法稱為最小二乘法． 按照最小二乘原則，具體求[pic]的問題就是利用極值原理，求解二元一次聯(lián)立[pic] 方程組有唯一解: [pic] [pic] 于是， 對于給定的[pic]個(gè)點(diǎn)[pic]，先算出[pic]，再算出[pic]，就得到了所求的回歸方程: 可計(jì)算【例１】的 因此所求經(jīng)驗(yàn)公式, 即回歸方程為 [pic] 【例2】P．236―――　例1.2 對任意兩個(gè)相關(guān)變量，即使它們不存在線性關(guān)系，都可以通過它們的一組觀測值用最小 二乘法，在形式上求得[pic]和[pic]的回歸直線方程. 實(shí)際上，如果[pic]和[pic]沒有線性相關(guān)關(guān)系，所求的回歸直線方程是沒有意義的．因 此建立了回歸直線方程之后，還需要判斷[pic]與[pic]間是否真有線性相關(guān)關(guān)系，這就 是回歸效果的檢驗(yàn)問題．稱為回歸效果的顯著性檢驗(yàn)． 首先介紹“平方和分解公式”． 二. 平方和分解公式與線性相關(guān)關(guān)系：: 對于任意的[pic]組數(shù)據(jù)[pic], 恒有: [pic]+ [pic]’ 其中 [pic] [pic] 現(xiàn)記 　　 [pic][pic]， 　　 [pic]， 　　 [pic] 則平方和分解公式是： [pic] 證明： [pic] 因?yàn)閇pic] , [pic]，　并且 [pic] ＝0 所以 [pic] 即　　　　　　[pic]+ [pic] [pic][pic]是回歸直線上， 其橫坐標(biāo)為[pic]點(diǎn)的縱坐標(biāo)， 因?yàn)?[pic] 所以[pic][pic][pic]的平均值也等于[pic]． [pic] [pic] [pic] [pic] [pic] 我們還可以通過[pic]的均值，進(jìn)一步說明它們之間的關(guān)系． [pic] [pic] [pic] [pic] [pic] [pic] 有了上面這些對于[pic]的分析表明： (1)[pic]的離差平方和由兩部分組成： 回歸平方和[pic]和殘差平方和[pic], 其中[pic]完全由隨機(jī)因素引起， (2)[pic]中雖然也有隨機(jī)因素，但是當(dāng)[pic]時(shí),主要是由[pic]與[pic]線性相關(guān)關(guān)系 決定．因而[pic]與[pic]之比的比值反映了這種線性相關(guān)關(guān)系與隨機(jī)因素對[pic]的影響 的大小．比值越大，線性相關(guān)關(guān)系越強(qiáng)．大到什么程度才能說明有線性相關(guān)關(guān)系，還要 進(jìn)行檢驗(yàn)，因而應(yīng)尋找檢驗(yàn)的統(tǒng)計(jì)量． [pic] 則　 [pic][pic][pic]. (參看P.244+3, 注意:　這是常用的計(jì)算公式) 三．相關(guān)性檢驗(yàn): （1）提出原假設(shè)： [pic] （2）選擇統(tǒng)計(jì)量： [pic] （3）求出在假設(shè)[pic]成立的條件下， [pic] ,　 （4）選擇檢驗(yàn)水平[pic]，查第一 自由度為[pic]與第二 自由度為[pic].的, [pic] 分布表（附表4），得臨界值[pic] ，使得　　 [pic] （5） 根據(jù)樣本值計(jì)算統(tǒng)計(jì)量的觀察值[pic]，給出拒絕或接受H。的判斷： 當(dāng) [pic]時(shí)，則拒絕H。； 當(dāng) [pic]時(shí), 則接受H。． 如果[pic]值相當(dāng)大則表明[pic]與[pic]線性影響較大，就可以認(rèn)為[pic]與[pic]間有線 性相關(guān)關(guān)系；反之，如果[pic]值較小，則沒有理由認(rèn)為[pic]與[pic]間有線性相關(guān)關(guān)系 ． 衡量回歸效果的好壞，除了采用回歸問題的方差分析外, 還可以用統(tǒng)計(jì)量 [pic] 來描述兩個(gè)變量線性關(guān)系的密切程度，當(dāng)[pic]接近[pic], [pic]與[pic]之間的線性相關(guān)程度愈小，反之，當(dāng)[pic]接近愈大，愈接近1，[pic]與[pic] 之間的線性相關(guān)就愈為密切．對一個(gè)具體問題，只有當(dāng)相關(guān)系數(shù)[pic]的絕對值大到一定 程度時(shí)才可用回歸直線來近似地表示[pic]與[pic]之間的關(guān)系. [pic] [pic] [pic] 對于假設(shè)[pic]，由[pic]和[pic]提供的兩鐘形式上不同的檢驗(yàn)方法，實(shí)質(zhì)上是一回事。 （參看P. 243 --- P.244） [pic] [pic] [pic] 【例3】 P.244　―――例1.4 4. 鋼的含碳量與抗拉強(qiáng)度之間具有相關(guān)關(guān)系。抽查某種鋼材12根，測得含碳量(％) 和抗拉強(qiáng)度(kg／mm[pic])的觀測值如下： [pic] 根據(jù)這組數(shù)據(jù)，求[pic]對[pic]的線性回歸方程，[pic] 解： 1. 計(jì)算[pic]與回歸系數(shù)： | 編號 | [pic]| [pic]|[pic] | [pic] |[pic] | |1 |1.3 |41 |1.69 |53.3 |1681 | |2 |1.4 |44 |1.96 |61.6 |1936 | |3 |1.4 |45 |1.96 |63 |2025 | |4 |1.5 |43 |2.25 |64.5 |1849 | |5 |1.6 |46 |2.56 |73.6 |2116 | |6 |1.6 |47 |2.56 |75.2 |2209 | |7 |1.7 |47 |2.89 |79.9 |2209 | |8 |1.8 |46 |3.24 |82.8 |2116 | |9 |1.9 |46 |3.61 |87.4 |2116 | |10 |2.0 |49 |4.00 |98 |2401 | |11 |2.1 |49 |4.41 |102.9 |2401 | |12 |2.2 |51 |4.84 |112.2 |2601 | | |20.5 |554 |35.97 |954.4 |25660 | |總和[pic| | | | | | |] | | | | | | [pic] [pic] [pic] [pic]， [pic]， [pic] [pic] [pic], [pic] [pic] [pic] [pic] 對[pic]的線性回歸方程： [pic] 2. 檢驗(yàn)[pic]與[pic]線性相關(guān)性： [pic] 取統(tǒng)計(jì)量： [pic] ， 在假設(shè)[pic]成立的條件下， [pic] ,　 [pic]，得[pic] ， 計(jì)算：[pic] [pic] [pic] 則拒絕H。， 即抗拉強(qiáng)度與鋼的含碳量之間是真有顯著的線性相關(guān)關(guān)系， 5. 為了確定老鼠血镕的減少量和注射胰島素A的劑量之間的關(guān)系，將在同樣條件下繁 殖的7只老鼠注射了不同劑量的胰島素A，所得數(shù)據(jù)如下： [pic] 解： [pic] [pic] [pic] [pic] 計(jì)算回歸系數(shù)： [pic] [pic][pic] [pic] 四． 習(xí)題： P．254 ---- 1，2 附表 相關(guān)系數(shù)臨界值表 [pic]
回歸7-1