上課材料之三
上課材料之三： 2. 分布函數(shù)(Distribution function)，數(shù)學(xué)期望(Expectation) 與方差(Variance) 本節(jié)主要介紹概率及其分布函數(shù)，數(shù)學(xué)期望，方差等方面的基礎(chǔ)知識(shí)。 一、概率(Probability) 1、概率定義(Definition of Probability) 在自然界和人類社會(huì)中有著兩類不同的現(xiàn)象，一類是決定性現(xiàn)象，其特征是在一定條 件必然會(huì)發(fā)生的現(xiàn)象；另一類是隨機(jī)現(xiàn)象，其特征是在基本條件不變的情況下，觀察到 或試驗(yàn)的結(jié)果會(huì)不同。換句話說，就個(gè)別的試驗(yàn)或觀察而言，它會(huì)時(shí)而出現(xiàn)這種結(jié)果， 時(shí)而出現(xiàn)那樣結(jié)果，呈現(xiàn)出一種偶然情況，這種現(xiàn)象稱為隨機(jī)現(xiàn)象。 隨機(jī)現(xiàn)象有其偶然性的一面，也有其必然性的一面，這種必然性表現(xiàn)為大量試驗(yàn)中隨 機(jī)事件出現(xiàn)的頻率的穩(wěn)定性，即一個(gè)隨機(jī)事件出現(xiàn)的頻率常在某了固定的常數(shù)附近變動(dòng) ，這種規(guī)律性我們稱之為統(tǒng)計(jì)規(guī)律性。 頻率的穩(wěn)定性說明隨機(jī)事件發(fā)生可能性大小是隨機(jī)事件本身固定的，不隨人們意志而 改變的一種客觀屬性，因此可以對(duì)它進(jìn)行度量。 對(duì)于一個(gè)隨機(jī)事件A，用一個(gè)數(shù)P（A）來表示該事件發(fā)生的可能性大小，這個(gè)數(shù)P（A ）就稱為隨機(jī)事件A的概率，因此，概率度量了隨機(jī)事件發(fā)生的可能性的大小。 對(duì)于隨機(jī)現(xiàn)象，光知道它可能出現(xiàn)什么結(jié)果，價(jià)值不大，而指出各種結(jié)果出現(xiàn)的可能 性的大小則具有很大的意義。有了概率的概念，就使我們能對(duì)隨機(jī)現(xiàn)象進(jìn)行定量研究， 由此建立了一個(gè)新的數(shù)學(xué)分支——概率論。 概率的定義 定義在事件域F上的一個(gè)集合函數(shù)P稱為概率，如果它滿足如下三個(gè)條件： （i）P（A）≥0，對(duì)一切[pic]F （ii）P（Ω）=1； （iii）若[pic]，i=1,2…，且兩兩互不相容，則 [pic] 性質(zhì)（iii）稱為可列可加性（conformable addition）或完全可加性。 推論1：對(duì)任何事件A有[pic]； 推論2：不可能事件的概率為0，即[pic]； 推論3：[pic]。 2、條件概率(Conditional Probability) 如果P（B）＞0，記[pic]，稱P（A|B）為在事件B發(fā)生的條件下事件A發(fā)生的條件概率 。 轉(zhuǎn)化后有：[pic]如果（P（A）＞0），稱為概率的乘法原理。 推廣后的乘法原理： [pic] 其中[pic]＞0。 3、全概率公式與貝葉斯（Bayes）公式 設(shè)事件A1，A2，…，An……是樣本空間Ω的一個(gè)分割，即AiAj=φ，i≠j，而且：[pic]。 從而[pic]，這里AiB也兩兩互不相容。 則[pic]。 這個(gè)公式稱為全概率公式。 由于 [pic] 故 [pic] 再利用全概率公式即得 [pic] 這個(gè)公式稱為貝葉斯公式。 貝葉斯公式在概率論和數(shù)理統(tǒng)計(jì)中有著多方面的應(yīng)用，假定A1，A2，…是導(dǎo)致試驗(yàn)結(jié) 果的“原因”，P（Ai）稱為先驗(yàn)概率，它反映了各種“原因”發(fā)生的可能性大小，一般是以 往經(jīng)驗(yàn)的總結(jié)，在這次試驗(yàn)前已經(jīng)知道，現(xiàn)在若試驗(yàn)產(chǎn)生了事件B，這個(gè)信息將有助于探 討事件發(fā)生的“原因”，條件概率P（Ai|B）稱為后驗(yàn)概率，它反映了試驗(yàn)之后對(duì)各種“原 因”發(fā)生的可能性大小的新知識(shí)。 4、事件(Random event)獨(dú)立性(Independence) 1）兩個(gè)事件的獨(dú)立性 定義 對(duì)事件A及B，若 P（AB）=P（A）P（B） 則稱它們是統(tǒng)計(jì)獨(dú)立的，簡(jiǎn)稱獨(dú)立的。 推論1 若事件獨(dú)立，且P（B）＞0，則 P（A|B）=P（A） [證明]由條件概率定義 [pic] 因此，若事件A，B相互獨(dú)立，由A關(guān)于B的條件概率等于無條件概率P（A），這表示B的發(fā) 生對(duì)于事件A是否發(fā)生沒有提供任何消息，獨(dú)立性就是把這種關(guān)系從數(shù)學(xué)上加以嚴(yán)格定義 。 推論2 若事件A與B獨(dú)立，則下列各對(duì)事件也相互獨(dú)立： [證明] 由于 [pic] [pic] [pic] 所以[pic]與B相互獨(dú)立，由它立刻推出[pic]與[pic]相互獨(dú)立，由[pic]又推出A，[pic] 相互獨(dú)立。 2）多個(gè)事件的獨(dú)立性 定義 對(duì)n個(gè)事件A1，A2，…，An，若對(duì)于所有可能的組合1≤i＜j＜…≤n成立著 [pic] 則稱A1，A2，…An相互獨(dú)立。 這里第一行有[pic]個(gè)式子，第二行有[pic]個(gè)式子，等等，因此共應(yīng)滿足 [pic][pic][pic] 個(gè)等式。 二、隨機(jī)變量(Random Variable)和概率分布函數(shù)(Probability Distribution Function) 1、隨機(jī)變量(Random Variable) 如果A為某個(gè)隨機(jī)事件，則一定可以通過如下示性函數(shù)使它與數(shù)值發(fā)生聯(lián)系： [pic] 這樣試驗(yàn)的結(jié)果就能有一個(gè)數(shù)[pic]來表示，這個(gè)數(shù)是隨著試驗(yàn)的結(jié)果的不同而變化 ，也即它是樣本點(diǎn)的一個(gè)函數(shù)，這種量以后稱為隨機(jī)變量，隨機(jī)變量可分為離散型隨機(jī) 變量和連續(xù)型隨機(jī)變量。 2、概率分布函數(shù)（p.d.f=probability density function） 稱F（x）=P{[pic]＜x}，[pic]＜x＜[pic]為隨機(jī)變量[pic]的分布函數(shù)cdf，對(duì)于連 續(xù)型隨機(jī)變量，存在可能函數(shù)f(x)，使 [pic]，f（x）稱為隨機(jī)變量的（分布）密度函數(shù)（density function）。 3、隨機(jī)向量（Random Vector）及其分布 在有些隨機(jī)現(xiàn)象中，每次試驗(yàn)的結(jié)果不能只用一個(gè)數(shù)來描述，而要同時(shí)用幾個(gè)數(shù)來描 述。試驗(yàn)的結(jié)果將是一個(gè)向量（Χ1，Χ2，…Χn），稱n維隨機(jī)向量。 隨機(jī)向量的聯(lián)合分布函數(shù)也有離散型與連續(xù)型的分別，在離散型場(chǎng)合，概率分布集中 在有限或可列個(gè)點(diǎn)上，多項(xiàng)分布，就是一個(gè)例子；在連續(xù)型場(chǎng)合，存在著非負(fù)函數(shù)f(x1 ,x2,…xn)，使 [pic] 這里的f(x1，…，xn)稱為密度函數(shù)，滿足如下兩個(gè)條件 [pic]≥0 [pic] 一般地，若(ξ,η)是二維隨機(jī)向量，其分布函數(shù)為F(x,y)，我們能由F(x,y)得出ξ或η 的分布函數(shù)，事實(shí)上， [pic]＜[pic]＜[pic]＜[pic] 同理 [pic]＜[pic] F1(x)及F2(y)稱為F(x,y)的邊際分布函數(shù)（Marginal Distribution Function）。 [例] 若F(x,y)是連續(xù)型分布函數(shù)，有密度函數(shù)f(x,y)，那么 [pic] 因此F1(x)是連續(xù)型分布函數(shù)，其密度函數(shù)為 [pic] 同理F2(x)是連續(xù)型分布函數(shù)，其密度函數(shù)為 [pic] f1(x)及f2(y)的邊際分布密度函數(shù)。 [二元正態(tài)分布] 函數(shù) [pic]這里a,b,[pic]，r為常數(shù)，[pic]＞0，[pic]＞0，|r|＜1，稱為二元正態(tài)分布 密度函數(shù)。 定理：二元正態(tài)分布的邊際分布仍為正態(tài)分布。 條件分布(Conditional Distribution) 離散型：若已知ξ=xi，（p1(xi)＞0）則事件{η=yi}的條件概率為 [pic] 這式子定義了隨機(jī)變量η關(guān)于隨機(jī)變量ξ的條件分布。 連續(xù)型：在給定ξ=x的條件下，η的分布密度函數(shù)為 [pic] 同理可行在給定η=y的條件下，ξ的分布密度函數(shù)為 [pic] 這里當(dāng)然也要求f2(y)≠0 定理：二元正態(tài)分布的條件分布仍然是正態(tài)分布 [pic] 其均值 [pic]是x的線性函數(shù)，這個(gè)結(jié)論在一些統(tǒng)計(jì)問題中很重要。 4、隨機(jī)變量的獨(dú)立性 定義 設(shè)ξ1，…，ξn為n個(gè)隨機(jī)變量，若對(duì)于任意的x1，…，xn成立 [pic]＜[pic]＜[pic]＜[pic]＜[pic] （1） 則稱[pic]是相互獨(dú)立的。 若[pic]的分布函數(shù)為[pic]，它們的聯(lián)合分布函數(shù)為[pic]，則（1）等價(jià)于對(duì)一切x 1,…,xn成立 [pic] 在這種場(chǎng)合，由每個(gè)隨機(jī)變量的（邊際）分布函數(shù)可以唯一地確定聯(lián)合分布函數(shù)(Jo int Distribution Function)。 對(duì)于離散型隨機(jī)變量，（1）等價(jià)于任何一組可能取的值（x1,…,xn）成立 [pic] 對(duì)于連續(xù)型隨機(jī)變量，條件（1）的等價(jià)形式是對(duì)一切x1,…,xn成立 [pic] 這里f(x1,…,xn)是聯(lián)合分布密度函數(shù)(Joint density function)，而fi(xi)是各隨機(jī)變量的密度函數(shù)。 此外，注意到若[pic]相互獨(dú)立，則其中的任意r(2≤r＜n）個(gè)隨機(jī)變量也相互獨(dú)立， 例如，我們證明[pic]相互獨(dú)立。 [pic]＜[pic]＜[pic]＜[pic]＜[pic]＜[pic] [pic]＜[pic]＜[pic]＜[pic] [pic]＜[pic]＜[pic] 隨機(jī)變量的獨(dú)立性概念是概率論中最基本的概念之一，也是最重要的概念之一。 5、隨機(jī)向量變換(Transformation)及其分布 若[pic]的密度函數(shù)為[pic]，求[pic]的分布，這時(shí)有 [pic]＜[pic]＜[pic] [pic] （1） 若對(duì)[pic]存在唯一的反函數(shù)[pic]，且[pic]的密度函數(shù)為[pic]，那么 [pic] （2） 比較（1）與（2）可知 [pic] [pic] 其中J為坐標(biāo)變換的雅可比行列式(Jacobian Determinant) [pic] 這里，我們假定上述偏導(dǎo)數(shù)存在而且連續(xù)。 隨機(jī)變量的函數(shù)的獨(dú)立性 定理 若ξ1，…，ξn是相互獨(dú)立的隨機(jī)變量，則[pic]也是相互獨(dú)立的，這里[pic]是任意的一元 函數(shù)。 三、數(shù)字期望及方差 1、數(shù)學(xué)期望 一般地，如果X是隨機(jī)變量，它的概率密度函數(shù)為f(x)，那么它的期望值為 [pic] 在許多問題中我們不僅需要知道E[X]，而且還想知道X的某個(gè)函數(shù)g(X)的數(shù)學(xué)期望。 [pic] 我們可以用同樣的方法定義多元隨機(jī)變量的函數(shù)的數(shù)學(xué)期望。假設(shè)隨機(jī)變量X1，X2， …Xn的聯(lián)合概率密度函數(shù)為[pic]，[pic]，那么 [pic] 如果隨機(jī)變量是離散的，那么上面公式里的積分號(hào)用和號(hào)代替。 利用這個(gè)定義我們可以得到下列結(jié)果 （1）如果a0,a1…,an是常數(shù)，那么 [pic] （2）如果X1，X2…，Xn是相互獨(dú)立的隨機(jī)變量，那么 [pic] 2、方差(Variance)與協(xié)方差(Covariance) 一個(gè)隨機(jī)變量X的r階中心矩被定義為[pic]記為[pic]。如果[pic]被稱為X的分布的方 差或X的方差，常常記為[pic]。[pic]的正平方根[pic]被稱為X的標(biāo)準(zhǔn)差。關(guān)于方差，我 們有一個(gè)有用的公式 [pic] X和Y之間的協(xié)方差，記為[pic]或[pic] [pic] X和Y之間的協(xié)方差是對(duì)它們之間的相關(guān)性的一個(gè)測(cè)度。如果X和Y是相互獨(dú)立的，那么 [pic]=0。這導(dǎo)致下面的相關(guān)系數(shù)的定義，X和Y之間的相關(guān)系數(shù)記為[pic]被定義為 [pic] 由這個(gè)定義，[pic]的取值一定在- 1和1之間。如果X和Y是相互獨(dú)立的，那么[pic]=0。如果Y=aX+b，這里a,b是不等于0的常 數(shù)，那么|ρXY|=1，此時(shí)，我們說X和Y是完全相關(guān)的。X和Y的值越接近線性關(guān)系，|ρXY| 值接近1。 利用這些定義，我們可以得到下面的結(jié)果：如果a0,a1…,an是常數(shù)，X1，X2…，Xn是隨 機(jī)變量，那么 [pic] 特別地，有 [pic] [pic] 3、隨機(jī)向量的協(xié)方差矩陣 對(duì)于隨機(jī)向量而言，我們可以相似地定義它的期望和協(xié)方差矩陣。用X表示隨機(jī)變量 組成的向量，即 [pic] 假設(shè)[pic]。那么X的期望值為 [pic] 也即是一個(gè)隨機(jī)向量的期望值等于它的各個(gè)分量的期望值組成的向量。 我們定義一個(gè)隨機(jī)向量X的協(xié)方差矩陣(Covariance Matrix)如下 [pic] [pic] [pic] [pic] X的協(xié)方差矩陣常常記為[pic]，它是一個(gè)正定矩陣，如下是證明： 對(duì)于任意的不為零的向量[pic]， 我們構(gòu)造一個(gè)變量[pic] 那么Y的方差 [pic]，即證明了[pic]是非負(fù)定的。 線性變換后的向量的均值與協(xié)方差 如果P是一個(gè)m×n常數(shù)矩陣，m≤n，那么Z=PX是一個(gè)m維隨機(jī)向量，可以得到 a）[pic] b）[pic] 四、條件分布(Conditional Distribution)、條件數(shù)學(xué)期望(Conditional Expectation)及其條件方差（Conditional Variance） 條件均值（Conditional Mean）是條件分布的均值，其定義為 [pic] 條件均值函數(shù)[pic]。 條件方差（Conditional Variance） 條件方差是條件分布的方差： [pic] [pic] 或 [pic]（離散時(shí)） 利用下式可以簡(jiǎn)化計(jì)算 [pic] 并且有： [pic] 記號(hào)Ex[·]表示對(duì)X的值的期望。 幾個(gè)重要的公式 1）、[pic] 思考：[pic]是否成立？ 2）、[pic] 3）、方差分解公式(Decomposition of Variance ) 推導(dǎo)：分兩步，先證明 i）[pic] 這是因?yàn)椋篬pic] [pic] 進(jìn)而有 [pic] 我們考察 [pic][pic] ∴ [pic] ii）對(duì)于任意Y有：[pic] 因?yàn)閄與E（Y|X）是不相關(guān)，故 [pic] 而 [pic] [pic] [pic] 我們得到方差分解公式： [pic] 方差分解結(jié)果表明，在雙變量分布中，y的變差出自兩個(gè)來源： 1、由于E[y|x]隨x變化的事實(shí)所產(chǎn)生的變差為回歸方差（Regression Variance）： 回歸方差=Varx[E[y|x]] 2、由于在每一條件分布中，y都圍繞條件均值變化而產(chǎn)生的變差為殘差方差(Residu al Variance)： 殘差方差=Ex[Var[y|x]] 這樣， Var[y]=回歸方差 + 殘差方差。 由方差分解公式，我們得到[pic]，這個(gè)是非常重要的公式，它常被應(yīng)用到尋求最小 方差估計(jì)量的方法中.我們可以看一個(gè)實(shí)際的例子。 [例子] 設(shè)X和Y服從二元正態(tài)分布聯(lián)合分布，我們已經(jīng)知道，在給定X的條件下，其條件分布仍然 是正態(tài)分布，并且 [pic] 則[pic]，然而 [pic][pic] =[pic] 在－1＜ρ＜1條件下，[pic]＞[pic]。滿足方差分解公式，并且我們很容易知道，[pic] [pic]。 六、極限分布理論(Limit Distribution Theory) 1 幾個(gè)極限的定義 1）分布函數(shù)的弱收斂(Weak Convergence of the Distribution Function) 定義1 對(duì)于分布函數(shù)列{Fn(x)}，如果存在一個(gè)非降函數(shù)F(x)使 [pic] 在F(x)的每一連續(xù)點(diǎn)上都成立，則稱Fn(x)弱收斂于F(x)，并記為[pic]。 中心極限定理就是一個(gè)分布函數(shù)弱收斂的例子。 2）隨機(jī)變量的收斂性(Convergence of the Random Variable) 概率論中的極限定理研究的是隨機(jī)變量序列的某種收斂性，對(duì)隨機(jī)變量收斂性的不同 定義將導(dǎo)致不同的極限定理，而隨機(jī)變量的收斂性的確可以有各種不同的定義...
上課材料之三