馬爾可夫模型介紹(從零開始)

1、馬爾可夫模型介紹（從零開始）馬爾可夫模型介紹（從零開始）（一）：定義及簡介：介紹（介紹（introduction）通常我們總是對尋找某一段時間上的模式感興趣，這些模式可能出現(xiàn)在很多領域：一個人在使用電腦的時候使用的命令的序列模式；一句話中的單詞的序列；口語中的音素序列。總之能產(chǎn)生一系列事件的地方都能產(chǎn)生有用的模式?？紤]一個最簡單的情況：有人(柯南？)試圖從一塊海藻來推斷天氣的情況。一些民間的傳說認為“soggy”的海藻意味著潮濕（wet

2、）的天氣，“dry”的海藻預示著晴朗（sun）。如果海藻處于中間狀態(tài)“damp”，那就無法確定了。但是，天氣的情況不可能嚴格的按照海藻的狀態(tài)來變化，所以我們可以說在一定程度上可能是雨天或是晴天。另一個有價值的信息是之前某些天的天氣情況，結(jié)合昨天的天氣和可以觀察到的海藻的狀態(tài)，我們就可以為今天的天氣做一個較好的預報。這是在我們這個系列的介紹中一個非常典型的系統(tǒng)。?首先我們介紹一個可以隨時間產(chǎn)生概率性模型的系統(tǒng)，例如天氣在晴天或者雨天之間變

3、動。?接下來我們試圖去預言我們所不能觀察到的“隱形“的系統(tǒng)狀態(tài)，在上面的例子中，能被觀察到的序列就是海藻的狀態(tài)嗎，隱形的系統(tǒng)就是天氣情況?然后我們看一下關(guān)于我們這個模型的一些問題，在上面那個例子中，也許我們想知道1.如果我們觀察一個星期每一天的海藻的狀態(tài)，我們是否能知相應的其天氣情況2.如果給出一個海藻狀態(tài)的序列，我們是否能判斷是冬天還是夏天？我們假設，如果海藻干（dry）了一段時間，那就意味著是夏天如果海藻潮濕（soggy）了一段時間

4、，那可能就是冬天。（二）：生成模式（（二）：生成模式（GeneratingPatterns）?確定的模式（確定的模式（DeterministicPatterns）考慮交通燈的例子，一個序列可能是紅紅橙綠橙紅。這個序列可以畫成一個狀態(tài)機，不同的狀態(tài)按照這個狀態(tài)機互相交替注意一個含有M個狀態(tài)的一階過程有M的平方個狀態(tài)轉(zhuǎn)移。每一個轉(zhuǎn)移的概率叫做狀態(tài)狀態(tài)轉(zhuǎn)移概率（轉(zhuǎn)移概率（statetransitionprobability），就是從一個狀態(tài)轉(zhuǎn)

5、移到另一個狀態(tài)的概率。這所有的M的平方個概率可以用一個狀態(tài)轉(zhuǎn)移矩陣來表示。注意這里有一個假設，概率不概率不隨時間的變化而變化隨時間的變化而變化，這又是一個不現(xiàn)實但很重要的假設。下面就是一個狀態(tài)轉(zhuǎn)移矩陣的列子：這個矩陣的意思是，如果昨天是晴天，那么今天又50%的可能是晴天，37.5%的概率是陰天，12.5%的概率會下雨，很明顯，每一行的和都是1。為了初始化這樣一個系統(tǒng)，我們需要一個初始的概率向量：這個向量表示第一天是晴天。到這里，我們就為

6、一階馬爾科夫過程定義了以下三個部分:?狀態(tài)：晴天、陰天和下雨?初始向量：定義系統(tǒng)在時間為0的時候的狀態(tài)的概率?狀態(tài)轉(zhuǎn)移矩陣：每種天氣轉(zhuǎn)換的概率所有的能被這樣描述的系統(tǒng)都是一個馬爾科夫過程。?總結(jié)（總結(jié)（Summary）我們?yōu)榱苏业诫S時間變化的模式，就試圖去建立一個可以產(chǎn)生模式的過程模型。我們使用了具體的時間步驟、狀態(tài)、并且做了馬爾科夫假設。有了這些假設，這個能產(chǎn)生模式系統(tǒng)就是一個馬爾科夫過程。一個馬爾科夫過程包括一個初始向量初始向量和一