概率與隨機(jī)變量

1、應(yīng)用數(shù)學(xué)與統(tǒng)計(jì),喬德禮,信息科學(xué)技術(shù)學(xué)院,dlqiao@ce.ecnu.edu,基本信息,辦公室: 信息樓245Email: dlqiao@ce.ecnu.edu.cn辦公電話：021-54345492答疑時(shí)間：周二、周四 12:30~13:30,相關(guān)教材,《Probability and Random Processes》，G. R. Grimmett and D. R. Stirzaker，Oxford U

2、niversity Press，出版時(shí)間：2004。 《Stochastic Processes: Theory for Applications 》，R. G. Gallager，Cambridge University Press，出版時(shí)間： 2013。 An Exploration of Random Processes for Engineers, B. Hajek, 在線：http://www.ifp.illinoi

3、s.edu/~hajek/Papers/randomprocJan14.pdf?！禔n Introduction to Probability and Its Applications - Vols. I (and II)》, W. Feller, Wiley, 1968。,相關(guān)教材,周蔭清，隨機(jī)過(guò)程導(dǎo)論，1987。 林元烈，應(yīng)用隨機(jī)過(guò)程，2002。 陸大絟，隨機(jī)過(guò)程及其應(yīng)用，2006。,成績(jī)統(tǒng)計(jì),平時(shí)成績(jī) （40%）隨堂測(cè)

4、試 （5~10次，20%）課后作業(yè) （2~4次，20%）期末考試 （60%）課堂提問(wèn)（Bonus）,基本要求,上課時(shí)請(qǐng)關(guān)閉手機(jī)！課后及時(shí)復(fù)習(xí)、練習(xí)！必要時(shí)補(bǔ)充大學(xué)的高數(shù)、線代等知識(shí)！,,聲吶、語(yǔ)音、圖像分析、生物醫(yī)學(xué)、自動(dòng)控制。。。,,,,,,,,信源,傳輸機(jī),信道,接收機(jī),輸出信號(hào),不確定性,噪聲，干擾,統(tǒng)計(jì)處理,,,,,熱噪聲電壓,,課程目標(biāo),鞏固本課程相關(guān)的線性代數(shù)與分析的理論基礎(chǔ)（特別是向量、矩陣及極限方面

5、的背景），以及概率與隨機(jī)變量的基礎(chǔ)； 全面了解隨機(jī)變量與隨機(jī)過(guò)程的關(guān)系，掌握一些生活中常見(jiàn)的簡(jiǎn)單且重要的隨機(jī)過(guò)程的特性，并為其他隨機(jī)過(guò)程的分析提供方法； 熟悉馬爾可夫鏈相關(guān)的理論以及特性； 了解隨機(jī)游走及大偏差理論，以及在現(xiàn)實(shí)生活中的應(yīng)用,大綱,概率與隨機(jī)變量概率模型與理論隨機(jī)變量與分布隨機(jī)變量的收斂特性隨機(jī)過(guò)程隨機(jī)過(guò)程性質(zhì)泊松隨機(jī)過(guò)程高斯隨機(jī)過(guò)程馬爾可夫鏈有限狀態(tài)區(qū)分馬爾可夫鏈矩陣表示隨機(jī)矩陣特性隨機(jī)游走

6、和大偏差理論簡(jiǎn)單隨機(jī)游走大偏差特性,檢測(cè)與估計(jì) 檢測(cè)：MAP, MiniMax, Neyman Pearson 估計(jì)：MSE, LLSE,,概率與隨機(jī)變量,事件 : , 性質(zhì)：,概率空間 ，,樣本空間（試驗(yàn)的所有可能結(jié)果），不為空； 為 所有子集的集合，為事件的組合， ；概率測(cè)度

7、 ，不相交 ，,概率與隨機(jī)變量,事件 : 條件概率 相互獨(dú)立 不相交事件序列 ,,概率與隨機(jī)變量,貝葉斯公式：不相交事件序列 , , 任意事件 ,,概率與隨機(jī)變量,隨機(jī)變量：從樣本空間 到實(shí)

8、值的映射 一般縮寫(xiě)為 可以為離散或連續(xù),概率與隨機(jī)變量,累計(jì)分布函數(shù)（CDF）為 非減函數(shù),,概率與隨機(jī)變量,概率分布函數(shù)（pdf）為 因此，,離散型隨機(jī)變量用概率質(zhì)量函數(shù)(pmf)表示,概率與隨機(jī)變量,隨機(jī)變量 的概率分布函數(shù)？ 可通過(guò)如下方式求出 計(jì)算 的累計(jì)分布函數(shù) 若 可導(dǎo)，求導(dǎo)可得,概率與隨機(jī)變量,

9、統(tǒng)計(jì)平均 假設(shè) ，則,離散：,連續(xù)：,概率與隨機(jī)變量,均值： n階矩(n-th moment)： n階中心矩(n-th central moment)： n=2,方差 特征函數(shù)：,概率與隨機(jī)變量,特征函數(shù)：類似于連續(xù)時(shí)間傅里葉變換有益于處理隨機(jī)變量之和，因?yàn)槠涓怕史植紴閱为?dú)pdf的卷積,概率與隨機(jī)變量,矩生成函數(shù)： 類似于連續(xù)時(shí)間拉普拉斯變換 泰勒展開(kāi)可得

10、 若已知所有n階矩，那么通過(guò)拉普拉斯逆變換可得到pdf 若矩生成函數(shù)已知，,概率與隨機(jī)變量,伯努利分布 pmf: 均值 方差 矩生成函數(shù),例. 傳輸31 bit的序列，假設(shè)接收端可以最多糾正3 bit的錯(cuò)誤，每bit誤差概率為 ，那么接收序列出現(xiàn)誤差的概率？,概率與隨機(jī)變量,泊松分布 pmf: 均值 方差 矩生成函數(shù),例. 銀行到達(dá)的客戶時(shí)間間隔的建模為泊松分布

11、。,概率與隨機(jī)變量,幾何分布 pmf: 均值 方差 矩生成函數(shù),例. 頭一次出現(xiàn)硬幣正面所需的次數(shù)。,概率與隨機(jī)變量,均勻分布 pdf: 均值 方差 矩生成函數(shù),例. 正弦信號(hào)的相位一般建模為 的均勻分布。,概率與隨機(jī)變量,高斯分布 pdf: 均值 方差 矩生成函數(shù),例. 噪聲信號(hào)一般建模為均值為0，方差為1的高斯分布。,概率與隨機(jī)變量,瑞利分布 pdf:

12、 均值 方差,例. 為相互獨(dú)立的均值為0，方差為 的高斯分布，則 為瑞利分布，概率分布為 。,概率與隨機(jī)變量,指數(shù)分布 pdf: 均值 方差 矩生成函數(shù),例. 兩個(gè)高斯信號(hào)之和的模的平方。,概率與隨機(jī)變量,伽馬分布 pdf: 均值 方差 矩生成函數(shù),例. 多徑信道的衰落Nakagami-m分

13、布， 。,概率與隨機(jī)變量,考慮兩個(gè)隨機(jī)變量 和 ，其聯(lián)合分布函數(shù)為 聯(lián)合pdf為,概率與隨機(jī)變量,邊緣分布函數(shù)為 邊緣概率分布函數(shù)為 和 相互獨(dú)立,概率與隨機(jī)變量,條件概率分布函數(shù)為 給定 下 的條件均值 因此,概率與隨機(jī)變量,兩個(gè)隨機(jī)變量的相關(guān)為 Schwarz不等式協(xié)方差為 如果