上課材料之四
上課材料之四 第三節(jié) 數(shù)理統(tǒng)計（Mathematical Statistics） 數(shù)理統(tǒng)計的方法及考慮的問題不同于一般的資料統(tǒng)計，它更側(cè)重于應(yīng)用隨機現(xiàn)象本身 的規(guī)律性來考慮資料的收集、整理和分析，從而找出相應(yīng)的隨機變量的分布律或它的數(shù) 字特征。由于大量的隨機試驗必能呈現(xiàn)出它的規(guī)律性，因而從理論上講，只要對隨機現(xiàn) 象進行足夠多次觀察，被研究的隨機現(xiàn)象的規(guī)律性一定能清楚地呈現(xiàn)出來，但是實際上 所允許的觀察永遠只能是有限的，有時甚至是少量的。因此我們所關(guān)心的問題是怎樣有 效地利用有限的資料，便能去掉那些由于資料不足所引起的隨機干擾，而把那些實質(zhì)性 的東西找出來，一個好的統(tǒng)計方法 就在于能有效地利用所獲得的資料，盡可能作出精確而可靠的結(jié)論。 1、數(shù)理統(tǒng)計的基本概念 1）母體和子樣 我們把所研究的全部元素組成的集合稱為母體或總體，而把組成母體的每個元素稱為 個體。 為了對母體的分布律進行各種研究，就必需對母體進行抽樣觀察。一般來說，我們還 不止進行一次抽樣觀察，而要進行幾次觀察。設(shè)X1，X2，…Xn是所觀察到的結(jié)果，顯然它 是隨機變量，稱它為容量是n的子樣。把X1，X2，…Xn所取值的全體稱為子樣空間。 我們抽取子樣的目的是為了對母體的分布律進行各種分析推斷，因而要求抽取的子樣 能很好地反映母體的特性，這就必須對隨機抽樣的方法提出一定的要求。通常提出下面 兩點： （i）代表性：要求子樣的每個分量Xi與所考察的母體X具有相同的分布F(x)； （ii）獨立性：X1，X2，…，Xn為相互獨立的隨機變量，也就是說，每個觀察結(jié)果即 不影響其它觀察結(jié)果，也不受其它觀察結(jié)果的影響。 滿足上述兩點性質(zhì)的子樣稱為簡單隨機子樣，獲得簡單隨機子樣的抽樣方法稱為簡單 隨機抽樣。 對于簡單隨機子樣X=（X1，X2，…，Xn），其分布可以由母體的分布函數(shù)F（x）完全 決定，X的分布函數(shù)是[pic]。 2）統(tǒng)計量 一般來說，子樣的某種不含任何未知參數(shù)的函數(shù)，在統(tǒng)計學(xué)中都可以稱為統(tǒng)計量。 統(tǒng)計量：[pic] 非統(tǒng)計量：[pic] 3）常用的統(tǒng)計量—子樣矩 r階矩（或r階原點矩）：[pic]為子樣均值。 r階中心矩：[pic]為子樣方差。 總結(jié)：對于母體，我們有母體均值μ，母體方差[pic]，母體的k階原點矩[pic]和k階 中心矩[pic]； 對于子樣，我們有子樣均值[pic]，子樣方差[pic]，子樣的r階矩Ar和r階中心矩Br。 我們可以得到如下結(jié)論： 定理1 設(shè)母體服從分布F(x)，X=（X1，…，Xn）是從該母體中抽得的一個簡單隨機子樣，如果F (x)的二階矩陣存在，則對子樣均值[pic]，有 [pic]和[pic] [證明] [pic] [pic] [pic] 思考：是否存在更簡單的證明方法？ 定理2 對于子樣方差[pic]，其均值[pic] 證明：因為[pic]，所以 [pic] [pic] （其中[pic]） [pic] [pic] 4）順序統(tǒng)計量、經(jīng)驗分布函數(shù)與子樣矩 設(shè)（X1，…，Xn）是從母體 中抽取的一個子樣，記（x1,x2…,xn）是子樣的一個觀察值，將觀察值的各分量按大小遞 增次序排列，得到 [pic]≤[pic]≤…≤[pic] 當（X1，…，Xn）取值為（x1,…,xn）時，我們定義[pic]取值為[pic]。稱由此得到的[pic] 為（X1，…，Xn）的一組順序統(tǒng)計量。顯然[pic]≤[pic]≤…≤[pic]，[pic]，即[pic]的觀 察值是子樣觀察值中最小的一個，而[pic]，[pic]的觀察值是子樣觀察值中最大的一個 。 記 [pic] 顯然0≤[pic]≤1，且作為x的函數(shù)是一非減左連續(xù)函數(shù)，把[pic]看作為x的函數(shù)，它具 備分布函數(shù)所要求的性質(zhì)，故稱為經(jīng)驗分布函數(shù)（或子樣分布函數(shù)）。 經(jīng)驗分布函數(shù)也是子樣的函數(shù)，它與子樣矩之間具有下列關(guān)系：設(shè)（x1,x2,…,xn）是 子樣觀察值，[pic]是對應(yīng)的經(jīng)驗分布函數(shù)，則有： [pic] [pic] [pic] [pic] 2、正態(tài)母體子樣的線性函數(shù)的分布 定理1 設(shè)X1，…，Xn是抽自正態(tài)母體[pic]的一個子樣，統(tǒng)計量U是子樣的任一確定的線性函數(shù) [pic] （1） 則U也是正態(tài)隨機變量，均值、方差分別為 [pic] （2） [pic] （3） 在（1）式中，特別地取[pic]，此時行到的U是子樣均值[pic]。 [pic] [pic] 由此可見，[pic]具有與X相同的均值，但是它更向數(shù)學(xué)期望集中，集中程度與子樣容 量n的大小有關(guān)。 定理2 設(shè) （1）X1，X2…，Xn是獨立同分布隨機變量，同服從于正態(tài)分布[pic]； （2）[pic]矩陣，記 [pic] [pic] 則Y1，…，Yp也是正態(tài)隨機變量，均值、方差、協(xié)方差分別為： [pic]。 [pic] [pic]。 特別地，當[pic]，且A是一n×n正交矩陣時，Y1，Y2…，Yp也是相互獨立且同服從于[pic] 分布的隨機變量。 3、幾種與正態(tài)分布N(0,1)有關(guān)的常用分布 1）x2-分布 定義 設(shè)X1，X2，…，Xn是相互獨立，且同服從于N(0,1)分布的隨機變量， [pic] 所服從的分布為x2-分布，[pic]稱為自由度為n的x2-變量。 定理 設(shè)[pic]和[pic]，且X1，X2相互獨立，則[pic]。 2）t-分布 設(shè)[pic]，且X和Y相互獨立，則稱隨機變量 [pic] 所服從的分布為t-分布。n稱為它的自由度，且記T～t(n)。 3）F-分布 定義 設(shè)X和Y是相互獨立的x2-分布隨機變量，自由度分別為m和n，則稱隨機變量 [pic] 所服從的分布為F-分布，（m,n）稱為它的自由度，且通常寫為F～F（m,n）。 推論 如果[pic]，且相互獨立，則[pic]分布。 推論 如果X～F(m,n)分布，則1/X～F(n,m)分布。 結(jié)論 設(shè)X1，…，Xm和Y1，…，Yn分別是從正態(tài)母體[pic]中所抽取的獨立子樣。則 服從于t(m+n－2)分布。 ***[練習(xí)] 設(shè)X1，…，Xn是從正態(tài)[pic]分布的母體中抽取的簡單子樣，[pic]分別表示它的子樣均值 和子樣方差。又設(shè)[pic]，且與X1，…，Xn獨立。試求統(tǒng)計量 [pic] （提示：服從t(n-1)分布） 4、統(tǒng)計量的分布與獨立性 定理 若x～N[0,I]且[pic]的兩個冪等二次型，則[pic]時是獨立的。 [證明] 由于A和B都是對稱的和冪等的，[pic]，所以二次型是： [pic] 和 [pic] 兩個向量都有零均值向量，所以X1和X2協(xié)方差矩陣是 [pic] 由于AX和BX都是一個正態(tài)分布隨機向量的線性函數(shù)，因而它們也都服從正態(tài)分布，零 協(xié)方差矩陣暗示它們是統(tǒng)計上獨立的。所以，它們的函數(shù)形式[pic]是獨立的，這就證明 了兩個二次型統(tǒng)計量的獨立性。 [例] 易知 [pic] [pic] 因為 [pic] 故 [pic]是相互獨立的。 5、線性變換及二次型的獨立性 定理 標準正態(tài)向量的一個線性函數(shù)Lx和一個冪等二次型[pic]，當LA=0時兩個統(tǒng)計量是獨立的 。 證明遵循與對兩個二次型的證明同樣的邏輯，將[pic]寫作[pic]，變量Lx和Ax的協(xié)方 差矩陣是LA=0，這證實了這兩個隨機向量的獨立性，線性函數(shù)和二次型的獨立性就可以 立即推導(dǎo)。 [例] [pic] [pic] 所以上面兩個統(tǒng)計量是相互獨立的。 從而 [pic] 總結(jié)：設(shè)X1,X2,…,Xn是從正態(tài)母體[pic]中抽取的一個簡單子樣。記 [pic] 則有 （1）[pic]； （2）[pic]； （3）[pic] [pic] [證明] 因為[pic] 所以 [pic] 服從自由度為n－1的t-分布。 6、參數(shù)估計的常用方法 在參數(shù)估計問題中，我們總是首先假設(shè)母體X具有一族可能的分布F，且F的函數(shù)形式 是已知的，僅包含有幾個未知參數(shù)，記θ是支配這分布的未知參數(shù)（可以是向量），在統(tǒng) 計學(xué)上，我們把分布F的未知參數(shù)θ的全部可容許值組成的集合稱為參數(shù)空間，記為[pic] 。 我們用F(·；θ)表示X的分布，又稱集合{F(·；θ),θ∈[pic]}為X的分布函數(shù)族。類似地 ，如果X是連續(xù)型隨機變量，我們有概率密度函數(shù)族，如果X是離散型隨機變量，我們有 概率分布族。 一個參數(shù)估計問題就是要求通過子樣估計母體分布所包含的未知參數(shù)θ。 一般地，設(shè)母體具有分布族{F(·；θ),θ∈[pic]}，X1，X2…，Xn是它的一個子樣。點估 計問題就是要求構(gòu)造一個統(tǒng)計量T（X1，…Xn）作為參數(shù)θ的估計（T的維數(shù)與θ的維數(shù)相同 ）。在統(tǒng)計學(xué)上，我們稱T為θ的估計量。 1）矩方法 設(shè){F(·；θ),θ∈[pic]}是母體X的可能分布族，θ=（θ1，…，θk）是待估計的未知參數(shù) ，假定母體分布的k階矩存在，則母體分布的v階矩 [pic] 1≤v≤k 是θ=（θ1，…，θk）的函數(shù)。 對于子樣X=（X1，…，Xn），其v階子樣矩是 [pic] 1≤v≤k 現(xiàn)在用子樣矩作為母體矩的估計，即令 [pic] （1） 這樣，（1）式確定了包含k個未知參數(shù)θ=（θ1，…，θk）的k個方程式。 [例] 母體均值和方差的矩估計。 設(shè)X1，…，Xn是一子樣，設(shè)母體的二階矩存在，則有[pic]。用矩方法得方程組 [pic] 解之得 [pic] 所以母體均值[pic]和方差[pic]的矩估計分別是子樣均值[pic]和子樣方差[pic]。 運用以前的有關(guān)定理有 [pic] [pic] 和 [pic] 由此可見，[pic]作為[pic]的估計它是在[pic]的真值的周圍波動，且其平均值恰好是真 值[pic]，這一性質(zhì)在統(tǒng)計學(xué)上稱為無偏性。 2）最大似然估計方法 一般地，設(shè)母體具有分布密度族{F(x;θ),θ∈[pic]}，其中θ=（θ1，θ2…，θk）是一個 未知的k維參數(shù)向量，需待估計，又設(shè)（x1，…，xn）是子樣（X1，…，Xn）的一個觀察值 ，那么子樣（X1，…，Xn）落在點（x1，…，xn）的鄰域里的概率是[pic]。 為方便起見，記 [pic] （θ可以是向量）它看作為θ的函數(shù)稱為θ的似然函數(shù)。 如果選取使下式 [pic] （2） 成立的[pic]作為θ的估計，則稱[pic]是θ的最大似然估計。 由于logx是x的單調(diào)函數(shù)，所以（2）式可等價地寫為： [pic] 如果[pic]是開集，且[pic]關(guān)于θ可微，則滿足（4）式的解[pic]也一定滿足下列似 然方程 [pic] [例] 設(shè)X=（X1，…，Xn）是取自均勻分布 [pic] 的子樣，試求θ的最大似然估計。 此時 [pic] （注意：條件0＜xi≤θ，i=1,…,n和條件0＜[pic]是等價的。 顯然當[pic]取到最大值，所以[pic]是θ的最大似然***估計?？梢杂嬎愠鯷pic]。 7、估計的有效性 1）無偏估計 定義 一般地，如果T(X)是未知參數(shù)θ的一個估計量，且滿足下面的關(guān)系式， [pic] 則稱T（X）是θ的無偏估計。 2）有效估計 定義 對兩個無偏估計量[pic]，若[pic]的方差小于[pic]的方差，即[pic]＜[pic]，則稱[pic] 更有效。 判別方式：在多數(shù)情形中，比較基于兩個估計量的協(xié)方差矩陣，若[pic]—[pic]是非 負定矩陣，則[pic]更有效。 3）漸近無偏估計 如果有一列θ的估計[pic]滿足下面的關(guān)系式 [pic] 則稱Tn是θ的漸近無偏估計。 4）一致估計 設(shè)X1，…，Xn是取自分布族[pic]的子樣，Tn=Tn(X1，…，Xn)是θ的一個估計。如果序 列{Tn}隨機收斂到真參數(shù)值θ，即對任意[pic]＞0， [pic]＞[pic] 則稱Tn是θ的一致估計。 5）最小方差無偏估計 一般地若T1是θ的一個無偏估計，關(guān)于θ的任一無偏估計T2成立下式 [pic]≤[pic] 則稱T1是θ的最小方差無偏估計。 6）線性估計 如果估計T是子樣的線性函數(shù)，即T可以表示為[pic]，其中a1,…,an是固定常數(shù)，則稱 T為線性估計。類似地可以定義，如果T是線性估計，且滿足無偏性條件，則T稱為線性無 偏估計；如果UL表示θ的具有有限方差的線性無偏估計的全體所組成的集合，而對T0∈UL ，有 [pic]≤[pic]，對一切[pic] 則稱T0為θ的最小方差線性無偏估計。 高斯—馬爾科夫定理 在線性無偏估計量中，最小二乘估計量具有最小方差。 7）克拉美—勞（Cramer-Rao）下界 克拉美—勞（Cramer- Rao）下界。假定x的密度滿足一定的正則條件，參數(shù)θ的一個無偏估計量的方差將大于等 于： [pic] [pic] 量I(θ)是樣本的信息數(shù)。 再考慮一個多變量情形。若θ是一個參數(shù)向量，I(θ)是信息矩陣。 克拉美—勞定理，任何無偏估計量的方差矩陣與信息矩陣的逆[I(θ)]－1 的差將是一個非負定矩陣，其中 [pic] [pic] 即[pic] 這個矩陣的逆矩陣[I(θ)]-1稱為C-R下界或CRLB。 8、假設(shè)檢驗 1）正態(tài)母樣參數(shù)檢驗 前面我們介紹了兩種常用的參數(shù)估計方法。實踐中還提出了統(tǒng)計推斷問題。 先看一個例子 [例] 某廠有一批產(chǎn)品，共一萬件，須經(jīng)檢驗后方可出廠。按規(guī)定標準，次品率不得超過5%， 今在其中任意選取50件產(chǎn)品進行檢查，發(fā)現(xiàn)有次品4件，問這批產(chǎn)品能否出廠？ 在這個例子中，我們事先對這批產(chǎn)品次品率的情況一無所知，當然，從頻率穩(wěn)定性來 說，我們可以用被檢查的50件產(chǎn)品的次品率4/50來估計這整批產(chǎn)品的次品率，但是我們 目前所關(guān)心的問題是：如何根據(jù)抽樣的次品率[pic]/n（=4/50）推斷這批產(chǎn)品的次品率 是否超過了5%，也就是說，首先我們可以對整批產(chǎn)品作一種假設(shè)：次品率低于5%，然后 利用子樣的次品率[pic]/n來檢驗我們所作這一假設(shè)的正確性。 我們把任何一個在母體的未知分布上所作的假設(shè)稱為統(tǒng)計假設(shè)。并記為H0。對上面所 舉的例子中，統(tǒng)計假設(shè)分別是：H0:p（次品率）≤0.05。 由于母體的真分布完全被幾個未知參數(shù)所決定。因此任何一個關(guān)于母體未知分布的假 設(shè)總可以等價地給出...
上課材料之四