統(tǒng)計學(xué)知識簡介

1、一、總體、樣本與隨機(jī)變量,統(tǒng)計學(xué)知識簡介,二、隨機(jī)變量的分布,三、總體分布的數(shù)字特征——參數(shù),四、樣本分布的數(shù)字特征——統(tǒng)計量,五、幾個重要的連續(xù)型隨機(jī)變量的分布,六、正態(tài)總體的樣本平均數(shù)和樣本方差,七、估計量的評價標(biāo)準(zhǔn),八、參數(shù)估計,九、假設(shè)檢驗,統(tǒng)計學(xué)是研究隨機(jī)現(xiàn)象的統(tǒng)計規(guī)律的一門科學(xué)，已被廣泛地應(yīng)用于自然科學(xué)和社會科學(xué)的各個領(lǐng)域中，成為定量分析的一種有力工具。,一、總體、樣本與隨機(jī)變量,統(tǒng)計學(xué)知識簡介,總體——所研究對象的全體。,

2、總體中的每個元素稱為個體，總體中個體的數(shù)目稱為總體容量，用N表示。,分：有限總體——N為有限數(shù)，無限總體——N為無限數(shù)。,樣本——由總體中的若干個體組成的集合,樣本中個體的數(shù)目稱為樣本容量，用n表示。樣本是總體的子集。,根據(jù)樣本的信息來推測總體的情況，并給出這個推斷的可靠程度，稱為統(tǒng)計推斷。統(tǒng)計推斷要求從總體中抽取樣本須滿足隨機(jī)原則，即抽樣時總體中的每個個體都有同等的機(jī)會成為樣本中的元素。,不重復(fù)抽樣——每次抽取一個個體不放回去，再抽取

3、第二個個體，連續(xù)抽取n次。,重復(fù)抽樣——每次抽取一個個體又放回去，再抽取第二個個體，連續(xù)抽取n次。,對無限總體，不重復(fù)抽樣等價于重復(fù)抽樣，當(dāng)N很大時，不重復(fù)抽樣則近似于重復(fù)抽樣,一、總體、樣本與隨機(jī)變量,統(tǒng)計學(xué)知識簡介,隨機(jī)變量——按一定的概率取不同數(shù)值的變量，用ξ、η等表示。,一個隨機(jī)變量的完全信息是包括它的取值范圍及取每個數(shù)值的概率，稱為隨機(jī)變量的分布。,隨機(jī)變量按其取值情況分為兩大類：,離散型隨機(jī)變量——所有可能值為有限個或至多為

4、無窮可列個。,連續(xù)型隨機(jī)變量——所有可能取值不能夠一一列舉出來，其值域為一個或若干個有限或無限區(qū)間。,二、隨機(jī)變量的分布,統(tǒng)計學(xué)知識簡介,隨機(jī)變量是用它的分布來表示的。,若ξ為隨機(jī)變量，x為任意實數(shù)，則稱F( x )=P( ξ ≤ x )為隨機(jī)變量ξ的分布函數(shù)，即ξ ≤ x的概率。,分布函數(shù)F (x )滿足：0 ≤ F( x ) ≤ 1，F(xiàn)( -∞)=0，F(xiàn)(+∞)=1，P(x1 ≤ ξ ≤ x2)=F( x2 )- F( x1 ),對

5、離散型隨機(jī)變量 ξ，可以用概率函數(shù)Pi =P( ξ =xi )表示，即ξ = xi的概率，其中i=1,2, …。P滿足：Pi ≥0，∑Pi =1,對連續(xù)型隨機(jī)變量 ξ，可以用密度函數(shù)f(x)表示，近似于ξ 在x附近單位長區(qū)間上取值的概率。f(x)滿足：f(x)≥0，,對離散變量：,對連續(xù)變量：,二、隨機(jī)變量的分布,統(tǒng)計學(xué)知識簡介,隨機(jī)變量是用它的分布來表示的。,分量為隨機(jī)變量的向量稱為多元隨機(jī)變量，其聯(lián)合分布函數(shù)定義為：F(x1 , …

6、, xn)=P(ξ1 ≤ x1 , …,ξn ≤ xn)。,若隨機(jī)變量ξ、η滿足F(x，y)=Fξ (x) ? Fη (y)，即聯(lián)合分布函數(shù)等于各自分布函數(shù)的乘積，則稱隨機(jī)變量ξ與η相互獨立。,若ξ為隨機(jī)變量，η=f(ξ)稱為隨機(jī)變量函數(shù)，通常也是一個隨機(jī)變量。,三、總體分布的數(shù)字特征——參數(shù),統(tǒng)計學(xué)知識簡介,總體分布是由它的某些數(shù)字特征決定的，稱之為參數(shù)。常用的參數(shù)有期望、方差、協(xié)方差,1、數(shù)學(xué)期望(Mathematical Exp

7、ectation),離散型隨機(jī)變量ξ的期望值定義為：,也稱均值，表示總體的平均水平，記為μ或E(?),連續(xù)型隨機(jī)變量ξ的期望值定義為：,期望值滿足：,(1)若a為常數(shù)，ξ隨機(jī)變量，則E(a)=a，E(aξ)=aE(ξ),(2)若ξ、η為隨機(jī)變量，a、b為常數(shù)，則E(aξ+bη)=aE(ξ)+bE(η),(3)若ξ、η為相互獨立的隨機(jī)變量，則E(ξ?η)=E(ξ)?E(η),三、總體分布的數(shù)字特征——參數(shù),統(tǒng)計學(xué)知識簡介,2、方差(Var

8、iance),定義為：,表示總體相對均值的離散程度，記為σ2或Var(ξ),由期望值的性質(zhì)，可得：,方差滿足：,(1)若a為常數(shù)，ξ隨機(jī)變量，則Var(a)=0，Var(aξ)= a2 Var(ξ)， Var(a+ξ)= Var(ξ),(2)若ξ、η為相互獨立的隨機(jī)變量，a、b為常數(shù)，則Var(aξ+bη)=a2 Var(ξ)+b2 Var(η),為總體標(biāo)準(zhǔn)差，與總體的數(shù)量指標(biāo)有相同的量綱。,顯然，參數(shù)不是隨機(jī)變量。,總體分布是由它的某

9、些數(shù)字特征決定的，稱之為參數(shù)。常用的參數(shù)有期望值、方差、協(xié)方差,三、總體分布的數(shù)字特征——參數(shù),統(tǒng)計學(xué)知識簡介,3、協(xié)方差(Covariance),是兩個隨機(jī)變量與各自數(shù)學(xué)期望離差之積的期望，記為：,可簡化為：,協(xié)方差滿足：,(2) Cov(ξ , ξ)= Var(ξ),(1)若ξ和η獨立，則Cov(ξ , η)=0,協(xié)方差可用于度量兩個隨機(jī)變量之間相關(guān)關(guān)系的密切程度。,顯然，參數(shù)不是隨機(jī)變量。,總體分布是由它的某些數(shù)字特征決定的，稱之

10、為參數(shù)。常用的參數(shù)有期望值、方差、協(xié)方差,(3) Cov(a+bξ , c+dη)= bdCov(ξ , η),四、樣本分布的數(shù)字特征——統(tǒng)計量,統(tǒng)計學(xué)知識簡介,樣本分布的數(shù)字特征稱為統(tǒng)計量。,1、樣本平均數(shù),樣本平均數(shù)表示樣本的平均水平。若 為一個樣本，定義為：,樣本方差表示樣本相對其樣本平均數(shù)的離散程度，定義為：,為樣本標(biāo)準(zhǔn)差，它與樣本觀測值的數(shù)量指標(biāo)有相同的量綱。,顯然，由不同的樣本可以得到不

11、同的樣本平均數(shù)和樣本方差，因此統(tǒng)計量是隨機(jī)變量。可以證明：,2、樣本方差,四、樣本分布的數(shù)字特征——統(tǒng)計量,統(tǒng)計學(xué)知識簡介,樣本分布的數(shù)字特征稱為統(tǒng)計量。,2、樣本方差,3、樣本協(xié)方差,,五、幾個重要的連續(xù)型隨機(jī)變量的分布,統(tǒng)計學(xué)知識簡介,1、正態(tài)分布,若隨機(jī)變量x的密度函數(shù),正態(tài)分布在統(tǒng)計中具有重要的理論和實踐意義，現(xiàn)實中的許多隨機(jī)現(xiàn)象都服從或近似服從正態(tài)分布；隨著樣本容量的增大，很多統(tǒng)計量近似于正態(tài)分布(如 t分布)；許多離散型隨機(jī)

12、變量可用正態(tài)分布來近似(如二項分布)。,正態(tài)分布滿足：,(1)E(ξ) = μ，Var(ξ) = σ2,其中μ、σ為常數(shù)，σ >0，則稱ξ服從正態(tài)分布，記為x ~ N(μ，σ2),當(dāng)μ=0，σ=1時，稱x服從標(biāo)準(zhǔn)正態(tài)分布，記為x~ N(0，1),(2)若ξ ~ N(μ，σ2)，則,五、幾個重要的連續(xù)型隨機(jī)變量的分布,統(tǒng)計學(xué)知識簡介,2、χ2分布,若ξ1 , … , ξn 為服從N(0,1)的正態(tài)總體的樣本，,χ2分布滿足：,(1)

13、E(ξ) = n，Var(ξ) = 2n,則稱ξ= ξ12 +…+ ξn2 為服從n個自由度的χ2分布，記為ξ ~ χ2(n),服從χ2分布的隨機(jī)變量，可以表示為獨立的標(biāo)準(zhǔn)正態(tài)隨機(jī)變量的平方和。正態(tài)總體的樣本方差服從χ2分布。,五、幾個重要的連續(xù)型隨機(jī)變量的分布,統(tǒng)計學(xué)知識簡介,3、t分布,若隨機(jī)變量ξ ~ N(0，1)，η ~ χ2(n)，ξ與η相互獨立，則稱,可以證明：,(1)E(t) = 0， Var(t)=n/(n-2),為服從

14、自由度為n的t分布，記為t ~ t(n)。,(2)Var(t)隨著n的增加而減少，且Var(+∞)=1,(3)當(dāng)n>30時，t(n)近似于N(0,1) 。,五、幾個重要的連續(xù)型隨機(jī)變量的分布,統(tǒng)計學(xué)知識簡介,4、F分布,若隨機(jī)變量ξ ~ χ2(n1) ，η ~ χ2(n2)，且ξ與η相互獨立，則稱,為服從第一個自由度為n1、第二個自由度為n2的F分布，記為F~ F(n1，n2)。,易知，若F~ F(n1，n2)，則1/F ~ F(

15、n2，n1)。,六、正態(tài)總體的樣本平均數(shù)和樣本方差,統(tǒng)計學(xué)知識簡介,(1)若總體服從N(μ，σ2)，x1 , … , xn為一個樣本，則,(2)若x1 , … , xn和y1 , … , yn是分別取自正態(tài)總體N(μ1，σ12)、 N(μ2，σ22)的樣本，則,其中，S12、S22分別為兩個樣本的樣本方差。,六、正態(tài)總體的樣本平均數(shù)和樣本方差,統(tǒng)計學(xué)知識簡介,(3)中心極限定理：若隨機(jī)變量x1 , … , xn相互獨立，且服從同一分布，

16、則,的極限分布(n→∞)為標(biāo)準(zhǔn)正態(tài)分布，其中μ、σ2分別為xi的均值和方差。,中心極限定理說明，當(dāng)樣本容量n充分大時，相互獨立隨機(jī)變量和的分布將是正態(tài)的，即：,七、估計量的評價標(biāo)準(zhǔn),統(tǒng)計學(xué)知識簡介,1、無偏性,利用統(tǒng)計量的信息可以對未知參數(shù)進(jìn)行估計， 作為θ的估計量，其優(yōu)劣有一些評價的標(biāo)準(zhǔn)。,2、有效性,3、一致性,若 ，則稱 為θ的無偏估計量。,通常稱

17、 為系統(tǒng)誤差，無偏估計意味著無系統(tǒng)誤差。,若 為θ的所有無偏估計量中方差最小的，則稱 為θ的有效估計量。,若 依概率收斂于θ，即對任意ε>0，,則稱 為θ的一致估計量。,通常把樣本容量n>30的樣本看做大樣本，一致性在大樣本時才起作用。,在樣本容量相同的情況下，有效估計量的值在θ的附近最為集中,八、參數(shù)估計,統(tǒng)計學(xué)知識簡介,1、參數(shù)的點估計,統(tǒng)計推斷中包括參數(shù)估計和假設(shè)檢驗。參數(shù)估計又分為點估計和區(qū)間估計

18、。,(1)矩估計法,選擇一個適當(dāng)?shù)慕y(tǒng)計量 ，把其觀測值作為未知參數(shù)θ的估計值，稱為點估計。統(tǒng)計量的選取有不同的方法。,隨機(jī)變量x 的r階原點矩定義為E(xr)，r階中心矩定義為E[(x-E(x))r]。特例：一階原點矩為數(shù)學(xué)期望E(x)，二階中心距為方差Var(x)，即E[(x-E(x))2]。矩估計法中，把樣本矩作為對應(yīng)總體矩的估計量，例如：,八、參數(shù)估計,統(tǒng)計學(xué)知識簡介,1、參數(shù)的點估計,統(tǒng)計推斷中包括參數(shù)估計和假設(shè)檢驗。

19、參數(shù)估計又分為點估計和區(qū)間估計。,(2)極大似然估計法,選擇一個適當(dāng)?shù)慕y(tǒng)計量 ，把其觀測值作為未知參數(shù)θ的估計值，稱為點估計。統(tǒng)計量的選取有不同的方法。,設(shè)x1 , … , xn為由未知參數(shù)θ確定的總體的一個樣本，,對離散型隨機(jī)變量，定義,對連續(xù)型隨機(jī)變量，定義,稱L為似然函數(shù)。極大似然估計法中，把使樣本出現(xiàn)概率最大的估計量作為所選，即關(guān)于θ極大化L，得到等價于極大化lnL，通過lnL關(guān)于θ的一階導(dǎo)數(shù)為0來求,八、參數(shù)估計,統(tǒng)計學(xué)

20、知識簡介,1、參數(shù)的點估計,統(tǒng)計推斷中包括參數(shù)估計和假設(shè)檢驗。參數(shù)估計又分為點估計和區(qū)間估計。,(3)最小二乘估計法,選擇一個適當(dāng)?shù)慕y(tǒng)計量 ，把其觀測值作為未知參數(shù)θ的估計值，稱為點估計。統(tǒng)計量的選取有不同的方法。,已知一組樣本觀測值(Xi ,Yi)(i=1,2,…,n)，要求樣本回歸函數(shù)盡可能地擬合這組值，即樣本回歸線上的點 與真實觀測點Yi的“總體誤差”盡可能地小。最小二乘法給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和最小，即：,

21、在給定樣本觀測值之下，選出的 ， 使Yi與 之差的平方和最小。,八、參數(shù)估計,統(tǒng)計學(xué)知識簡介,2、參數(shù)的區(qū)間估計,統(tǒng)計推斷中包括參數(shù)估計和假設(shè)檢驗。參數(shù)估計又分為點估計和區(qū)間估計。,設(shè)x1 , …, xn為由未知參數(shù)θ確定的總體的一個樣本，對給定的數(shù)α∈(0,1)，確定兩個統(tǒng)計量θ1、θ2，使得P(θ1 <θ< θ2)=1- α，稱(θ1 , θ2)為1- α置信度下θ的置信區(qū)間。其含義是：在多次抽樣中，

22、大約有100(1- α)%的置信區(qū)間包含真值θ。顯然，相同置信度下的置信區(qū)間不是唯一的。設(shè)x1 , …, xn為總體ξ的一個樣本， ξ的均值μ和方差σ2的區(qū)間估計須依據(jù)不同情況確定。,八、參數(shù)估計,統(tǒng)計學(xué)知識簡介,2、參數(shù)的區(qū)間估計,設(shè)x1 , …, xn為總體ξ的一個樣本， ξ的均值μ和方差σ2的區(qū)間估計須依據(jù)不同情況確定。,(1)一般總體σ2已知時，μ的區(qū)間估計：,由切貝謝夫不等式,得μ在1-α置信度下的置信區(qū)間為：,(2)正態(tài)

23、總體σ2已知時，μ的區(qū)間估計：,利用,可得,uα/2為標(biāo)準(zhǔn)正態(tài)分布臨界值 ， 故μ在1-α置信度下的置信區(qū)間為：,對一般總體σ2已知或未知的大樣本，根據(jù)中心極限定理樣本平均數(shù)近似正態(tài)分布，也可用該式對進(jìn)行μ區(qū)間估計。σ2未知時用S代替σ。,,八、參數(shù)估計,統(tǒng)計學(xué)知識簡介,2、參數(shù)的區(qū)間估計,設(shè)x1 , …, xn為總體ξ的一個樣本， ξ的均值μ和方差σ2的區(qū)間估計須依據(jù)不同情況確定。,(3)正態(tài)總體σ2未知且小樣本時，μ的區(qū)間估計：

24、,(4)正態(tài)總體σ2未知時， σ2的區(qū)間估計：,利用,可得,故σ2在1-α置信度下的置信區(qū)間為：,利用,可得,tα/2(n-1)為t分布臨界值 ，故μ在1-α置信度下的置信區(qū)間為：,α越小，置信區(qū)間越大，當(dāng)α→1時，區(qū)間估計近似點估計。通常α=0.05，0.01。,九、假設(shè)檢驗,統(tǒng)計學(xué)知識簡介,1、假設(shè)檢驗的意義,根據(jù)樣本的信息來檢驗關(guān)于總體的假設(shè)稱為假設(shè)檢驗，其中關(guān)于參數(shù)假設(shè)的檢驗稱為參數(shù)的假設(shè)檢驗。被檢驗的假設(shè)稱為原假設(shè)，記為H0

25、；原假設(shè)的對立假設(shè)稱為備擇假設(shè)，記為H1。假設(shè)檢驗的思路是：假設(shè)H0為真，在此條件下計算已知樣本出現(xiàn)的概率，如果是小概率(即≤5%)，就違背了小概率原理(小概率事件在一次試驗中不應(yīng)該出現(xiàn))，這從統(tǒng)計上說明H0為真是錯誤的，因此拒絕H0 ；否則接受H0 。須注意，接受H0并不意味著H0為真，只說明根據(jù)已知樣本不能從統(tǒng)計上否定H0為真。,關(guān)于未知分布的假設(shè)稱為統(tǒng)計假設(shè)，其中關(guān)于未知參數(shù)的假設(shè)稱為參數(shù)假設(shè)。,九、假設(shè)檢驗,統(tǒng)計學(xué)知識簡介,2

26、、兩類錯誤,假設(shè)檢驗是從部分推斷總體，可能發(fā)生錯誤，其中拒絕真實H0的錯誤稱為第一類錯誤，“棄真”的錯誤，發(fā)生的概率記為α；接受不真實H0的錯誤稱為第二類錯誤，“取偽”的錯誤，發(fā)生的概率記為β。當(dāng)樣本容量一定時， α與β不可能同時都小，通常是只限定α，不限定β，這種條件下的假設(shè)檢驗稱為顯著性檢驗， α稱為顯著性水平。α可根據(jù)實際情況來限定，如果第一類錯誤會帶來嚴(yán)重后果， α應(yīng)小一些；如果第二類錯誤會帶來嚴(yán)重后果，α應(yīng)大一些。通常取α

27、=0.01，0.05，即發(fā)生第一類錯誤是小概率事件。例如取1%，即指容許在100次推斷中有1次是錯誤的判斷。,九、假設(shè)檢驗,統(tǒng)計學(xué)知識簡介,3、假設(shè)檢驗的一般步驟,(1)根據(jù)實際，提出原假設(shè)H0與備擇假設(shè)H1；(2)確定檢驗統(tǒng)計量，并根據(jù)H0和已知樣本計算其值；(3)給定顯著性性水平α，根據(jù)第一類錯誤查對應(yīng)統(tǒng)計量分布表得到拒絕域；(4)如果統(tǒng)計量值落在拒絕域內(nèi)，則拒絕H0，否則接受H0。,一般H0與H1的選擇應(yīng)遵循以下原則：(1

28、) 長期存在的狀態(tài)作為H0 ；(2)樣本觀測值顯示支持的結(jié)論作為H1 ；(3)是后果嚴(yán)重的錯誤成為第一類錯誤。,九、假設(shè)檢驗,統(tǒng)計學(xué)知識簡介,4、總體均值與方差的假設(shè)檢驗,(1)正態(tài)總體σ2已知時μ的假設(shè)檢驗,要檢驗的假設(shè)包括：,H0 : μ = μ0 ，H1 : μ ≠ μ0 （雙側(cè)檢驗）,H0 : μ ≤ μ0 ，H1 : μ > μ0 （右側(cè)檢驗）,H0 : μ ≥ μ0 ，H1 : μ < μ0 （左側(cè)檢驗）,檢驗統(tǒng)

29、計量取為,拒絕域為：,μα/2、μα為標(biāo)準(zhǔn)正態(tài)分布的臨界值,| z | > μα/2,z > μα,z < -μα,對一般總體σ2已知或未知的大樣本，也可用該方法對μ進(jìn)行假設(shè)檢驗，σ2未知時用S代替σ。,九、假設(shè)檢驗,統(tǒng)計學(xué)知識簡介,4、總體均值與方差的假設(shè)檢驗,(2)正態(tài)總體σ2未知的小樣本時,要檢驗的假設(shè)包括：,H0 : μ = μ0 ，H1 : μ ≠ μ0 （雙側(cè)檢驗）,H0 : μ ≤ μ0 ，H1 :

30、μ > μ0 （右側(cè)檢驗）,H0 : μ ≥ μ0 ，H1 : μ < μ0 （左側(cè)檢驗）,檢驗統(tǒng)計量取為,tα/2、tα為t分布的臨界值,| t | > tα/2(n-1),t > tα(n-1),t < -tα(n-1),拒絕域為：,九、假設(shè)檢驗,統(tǒng)計學(xué)知識簡介,4、總體均值與方差的假設(shè)檢驗,(3)正態(tài)總體σ2未知時σ2的假設(shè)檢驗,要檢驗的假設(shè)包括：,H0 : σ2 = σ02 ，H1 : σ2 ≠

31、 σ02 （雙側(cè)檢驗）,H0 : σ2 ≤ σ02 ，H1 : σ2 > σ02 （右側(cè)檢驗）,H0 : σ2 ≥ σ02 ，H1 : σ2 < σ02 （左側(cè)檢驗）,拒絕域為：,檢驗統(tǒng)計量取為,為χ2分布的臨界值,九、假設(shè)檢驗,統(tǒng)計學(xué)知識簡介,5、區(qū)間估計與假設(shè)檢驗的關(guān)系,給定顯著性水平α，假設(shè)檢驗的拒絕域與1- α置信度下的置信區(qū)間有直接的關(guān)系。當(dāng)原假設(shè)沒有落在置信區(qū)間內(nèi)時，拒絕H0 ，發(fā)生第一類錯誤的概率α正是原假設(shè)