馬爾可夫過程的發(fā)展和應(yīng)用

1、<p>　　Harbin Institute of Technology</p><p><b>　　課程設(shè)計（論文）</b></p><p>　　課程名稱： 應(yīng)用隨機過程 </p><p>　　設(shè)計題目： 馬爾可夫過程的發(fā)展與應(yīng)用</p><p>　　院 系： 電子

2、信息與工程學(xué)院 </p><p>　　班 級： 通信一班 </p><p>　　設(shè) 計 者： </p><p>　　學(xué) 號： </p><p>　　指導(dǎo)教師： 田波

3、平 </p><p>　　設(shè)計時間： 2009/12/17 </p><p>　　馬爾可夫鏈(過程)的發(fā)展與應(yīng)用</p><p>　　1. 隨機過程發(fā)展簡述</p><p>　　在當代科學(xué)與社會的廣闊天地里，人們都可以看到一種叫作隨機過程的數(shù)學(xué)模型：從銀河亮度的起伏到星

4、系空間的物質(zhì)分布、從分子的布朗運動到原子的蛻變過程，從化學(xué)反應(yīng)動力學(xué)到電話通訊理論、從謠言的傳播到傳染病的流行、從市場預(yù)測到密碼破譯，隨機過程理論及其應(yīng)用幾乎無所不在。</p><p>　　一些特殊的隨機過程早已引起注意，例如1907年前后，Α.Α.馬爾可夫研究過一列有特定相依性的隨機變量，后人稱之為馬爾可夫鏈（見馬爾可夫過程）；又如1923年N.維納給出了布朗運動的數(shù)學(xué)定義（后人也稱數(shù)學(xué)上的布朗運動為維納過程）

5、，這種過程至今仍是重要的研究對象。雖然如此，隨機過程一般理論的研究通常認為開始于30年代。1931年，Α.Η.柯爾莫哥洛夫發(fā)表了《概率論的解析方法》；三年后，Α.Я.辛欽發(fā)表了《平穩(wěn)過程的相關(guān)理論》。這兩篇重要論文為馬爾可夫過程與平穩(wěn)過程奠定了理論基礎(chǔ)。稍后，P.萊維出版了關(guān)于布朗運動與可加過程的兩本書，其中蘊含著豐富的概率思想。1953年，J.L.杜布的名著《隨機過程論》問世，它系統(tǒng)且嚴格地敘述了隨機過程的基本理論。1951年伊藤清建

6、立了關(guān)于布朗運動的隨機微分方程的理論(見隨機積分)，為研究馬爾可夫過程開辟了新的道路；近年來由于鞅論的進展，人們討論了關(guān)于半鞅的隨機微分方程；而流形上的隨機微分方程的理論，正方興未艾。60年代，法國學(xué)派基于馬爾可夫過程和位勢理論中的一些思想與結(jié)果，在相當大的程度上發(fā)展了隨機過程的一般理論，包括截口定理與過程的投影理論等，中國學(xué)者在平</p><p>　　2. 馬爾可夫過程發(fā)展</p><p&g

7、t;　　2.1 馬爾可夫過程簡介</p><p>　　馬爾科夫過程(MarKov Process)是一個典型的隨機過程。設(shè)X(t)是一隨機過程，當過程在時刻t0所處的狀態(tài)為已知時，時刻t(t>t0)所處的狀態(tài)與過程在t0時刻之前的狀態(tài)無關(guān)，這個特性成為無后效性。無后效的隨機過程稱為馬爾科夫過程。馬爾科夫過程中的時同和狀態(tài)既可以是連續(xù)的，又可以是離散的。我們稱時間離散、狀態(tài)離散的馬爾科夫過程為馬爾科夫鏈。馬爾

8、科夫鏈中，各個時刻的狀態(tài)的轉(zhuǎn)變由一個狀態(tài)轉(zhuǎn)移的概率矩陣控制。</p><p>　　2.2 馬爾可夫過程的發(fā)展</p><p>　　20世紀50年代以前，研究馬爾可夫過程的主要工具是微分方程和半群理論（即分析方法）；1936年前后就開始探討馬爾可夫過程的軌道性質(zhì)，直到把微分方程和半群理論的分析方法同研究軌道性質(zhì)的概率方法結(jié)合運用，才使這方面的研究工作進一步深化，并形成了對軌道分析必不可少的強

9、馬爾可夫性概念。1942年，伊藤清用他創(chuàng)立的隨機積分和隨機微分方程理論來研究一類特殊而重要的馬爾可夫過程──擴散過程，開辟了研究馬爾可夫過程的又一重要途徑?！　〕鲇跀U大極限定理應(yīng)用范圍的目的，馬爾科夫在20世紀初開始考慮相依隨機變量序列的規(guī)律，并從中選出了最重要的一類加以研究。1906年他在《大數(shù)定律關(guān)于相依變量的擴展》一文中，第一次提到這種如同鎖鏈般環(huán)環(huán)相扣的隨機變量序列，其中某個變量各以多大的概率取什么值，完全由它前面的一個變量來

10、決定，而與它更前面的那些變量無關(guān)。這就是被后人稱作馬爾科夫鏈的著名概率模型。也是在這篇論文里，馬爾科夫建立了這種鏈的大數(shù)定律?！　∮靡粋€通俗的比喻來形容，一只被切除了大腦的白鼠在若干個洞穴間的躥動就構(gòu)成一個馬爾科夫鏈。因為這只白鼠已沒有了記憶，瞬間而生的念頭決定了它從一個洞穴躥到另一個洞穴；當其</p><p>　　3 馬爾可夫過程的應(yīng)用</p><p>　　3.1 馬爾可夫應(yīng)用概述&l

11、t;/p><p>　　馬爾可夫隨機過程的發(fā)展史說明了理論與實際之間的密切關(guān)系。許多研究方向的提出，歸根到底是有其實際背景的。反過來，當這些方向被深入研究后，又可指導(dǎo)實踐，進一步擴大和深化應(yīng)用范圍。下面簡略介紹一下馬爾可夫隨機過程本身在各方面的應(yīng)用情況。 　　在物理學(xué)方面，高能電子或核子穿過吸收體時，產(chǎn)生級聯(lián)（或倍增）現(xiàn)象,在研究電了-光子級聯(lián)過程的起伏問題時，要用到隨機過程，常以泊松過程、弗瑞過程或波伊亞過程作為實

12、際級聯(lián)的近似，有時還要用到更新過程（見點過程）的概念。當核子穿到吸收體的某一深度時，則可用擴散方程來計算核子的概率分布。物理學(xué)中的放射性衰變，粒子計數(shù)器，原子核照相乳膠中的徑跡理論和原子核反應(yīng)堆中的問題等的研究，都要用到泊松過程和更新理論。湍流理論以及天文學(xué)中的星云密度起伏、輻射傳遞等研究要用到隨機場的理論。探討太陽黑子的規(guī)律及其預(yù)測時，時間序列方法非常有用。 　　化學(xué)反應(yīng)動力學(xué)中，研究化學(xué)反應(yīng)的時變率及影響這些時變率的因素問題,自動

13、催化反應(yīng)，單分子反應(yīng),雙分子反應(yīng)及一些連鎖反應(yīng)的動力學(xué)模型等，都要以生滅過程（見馬爾可夫過程）來描述。 　　隨機過程理論所提供的方法對于生物數(shù)學(xué)具有很大的重要性</p><p>　　3.2 一種新的馬爾可夫模型應(yīng)用舉例</p><p>　　隱馬爾可夫模型（Hidden Markov Model，HMM）是統(tǒng)計模型，它用來描述一個含有隱含未知參數(shù)的馬爾可夫過程。其難點是從可觀察的參數(shù)中確定

14、該過程的隱含參數(shù)。然后利用這些參數(shù)來作進一步的分析，例如模式識別。在正常的馬爾可夫模型中，狀態(tài)對于觀察者來說是直接可見的。這樣狀態(tài)變遷概率便是全部的參數(shù)。而在隱馬爾可夫模型中,狀態(tài)并不是直接可見的，但受狀態(tài)影響的某些變量則是可見的。每一個狀態(tài)在可能輸出的符號上都有一概率分布。因此輸出符號的序列能夠透露出狀態(tài)序列的一些信息。</p><p>　　隱馬爾可夫模型是馬爾可夫鏈的一種，它的狀態(tài)不能直接觀察到，但能通過觀測

15、向量序列觀察到，每個觀測向量都是通過某些概率密度分布表現(xiàn)為各種狀態(tài)，每一個觀測向量是由一個具有響應(yīng)概率密度分布的狀態(tài)序列產(chǎn)生。所以，隱馬爾可夫模型是一個雙重隨機過程----具有一定狀態(tài)數(shù)的隱馬爾可夫鏈和顯示隨機函數(shù)集。自20世紀80年代以來，HMM被應(yīng)用于語音識別，取得重大成功。到了90年代，HMM還被引入計算機文字識別和移動通信核心技術(shù)“多用戶的檢測”。近年來，HMM在生物信息科學(xué)、故障診斷等領(lǐng)域也開始得到應(yīng)用。</p>

16、<p>　　附：與馬爾可夫過程相關(guān)的歷史事件</p><p>　　1997年提出在因果馬爾科夫條件下,可以由網(wǎng)絡(luò)的條件獨立和條件相關(guān)關(guān)系推斷因果關(guān)系。</p><p>　　夸（Qllah）于 1993年采用馬爾科夫漣模型 對歐洲經(jīng)濟的發(fā)展作了進一步分析，認為以前傳統(tǒng)的經(jīng)驗方法對研究收斂性有時可能有 誤導(dǎo)作用。</p><p>　　1991年Cohen等采

17、用高斯一馬爾科夫隨機場(GMRF)紋理模型對織物疵點的檢測進行了研究,從正常紋理中提取模型參數(shù),再通過統(tǒng)計假設(shè)檢驗判別疵點。</p><p>　　1990年 撰寫“馬爾科夫鏈預(yù)測技術(shù)的應(yīng)用”等論文 1992年之后撰寫成“現(xiàn)代控制理論在森林資源動態(tài)預(yù)測中的應(yīng)用”和“森林資源動態(tài)系統(tǒng)Kalman濾波”等文章。</p><p>　　1973年Dudley“和Burt把動態(tài)規(guī)劃應(yīng)用于灌溉水庫的管理

18、上,利用馬爾科夫鏈的轉(zhuǎn)移概率對遞推動態(tài)方程加權(quán)。</p><p>　　直到 1971年 Hammersly等提出H C定理 從理論上證明了馬爾科夫性與吉布斯分布等價性 以吉布斯為代表的隨機場理論才得到空前發(fā)展與運用。</p><p>　　1948年,Shannon首先證明遍歷齊次馬爾科夫鏈的極限是存在的;1957年,Briemann證明了平穩(wěn)遍歷的馬爾科夫鏈的極限是存在的。</p&g