EM和HMM算法理論及其在圖像分割和場景分析中的應用.pdf

1、本論文研究最大似然法估計的期望最大算法(EM-Expectation Maximization)和隱馬爾可夫模型(HMM-Hidden Markov Models)的理論及其在圖像分割和場景分析中的應用。對EM算法和高斯混合分布模型(GMM-Gaussian Mixture Model)，HMM的理論及其在一些具體的領域的應用進行了深入的研究，其主要創(chuàng)新點如下：1、提出基于特征的EM算法。通常的EM算法是基于樣本的算法。本文提出

2、利用基于特征的EM算法而不是用基于樣本的EM算法來求解最大似然問題，可以加速計算。針對標準EM算法進行聚類運算時以單個樣本點為對象的特點，本文根據(jù)樣本特征頻數(shù)，計算直方圖，在此基礎上提出了進行特征聚類估計的快速EM算法。在有限混合分布中，采用基于特征的EM算法和基于樣本的EM算法從本質(zhì)上說是等價的；但是就算法的速度而言，在一定條件下，前者相對于后者來說要快得多。再加上其他措施，算法的效率更有明顯的提高。這在一定程度上彌補了E

3、M算法和最大似然法直接迭代法收斂速度慢的缺點。實驗結果證明了該方法在速度上的優(yōu)越性。2、指出直接迭代法本質(zhì)上是廣義EM算法。文中的直接迭代法是指通常在無監(jiān)督學習中采用迭代法來求解有限混合分布參數(shù)的最大似然估計。在所有國內(nèi)外經(jīng)典的教材[83][10][8][141][55]中，直接迭代法被廣泛涉及，但它的收斂性一直未得到討論和驗證，形成了一個空白，因此限制了它的使用。而直接迭代法與EM算法關系更是幾乎沒有提及。本文比較了在無監(jiān)督

4、學習中用最大似然法估計有限混合分布的未知參數(shù)情況下，通常采用迭代法求解最大似然估計與EM算法公式的相同與差別之后，利用EM算法的性質(zhì)來證明在這種情況下直接迭代法是一種廣義EM算法。此時直接迭代法具有EM算法的收斂特性和自動滿足約束的特性，能夠自動增大對數(shù)似然，在一定條件下保證收斂到一個局部最優(yōu)值。這對關于它的描述進行了有效的補充。3、提出基于“漸近等同分割性”原理的熵先驗為基礎的最小熵方法。最小熵方法[131]是近年來在研究

5、“交叉熵”基礎上提出來的新方法，但其中“熵先驗”的說明比較復雜。本文提出基于“漸近等同分割性[142]”(AEP-Asymptotic Equipartition Property)的原理說明“熵先驗”，使熵先驗問題更加明確。本文結合最小熵理論，引出一個在隱變量概率模型中同時學習模型的結構和參數(shù)的新型方法-基于熵的最大后驗估計(MAP-Maximum A Posteriori)。熵MAP估計將熵的和最小化，從各方面減小不確定性，

6、刪減多余的參數(shù)，得到參數(shù)趨于精確并較好地支持數(shù)據(jù)結構的模型。本文還發(fā)展了新型的HMM，用于解決每時間步具有可變長度觀察矢量的問題；采用熵MAP估計進行訓練，可以降低分布的冗余和除去噪聲，留下的隱狀態(tài)與圖像序列中實際物理過程高度相關。應用于交通視頻的模式發(fā)現(xiàn)時，采用連續(xù)兩幀間光流表作為數(shù)據(jù)，通過新型的HMM結合基于熵的MAP估計學習景物活動的模式，得到簡潔的、可解釋的、可預測的模型。4、將EM收斂的過程進行圖形解釋。EM算法包

7、含形成輔助函數(shù)的E步和使其最大化的M步的過程，通常是數(shù)學形式表示，缺乏直觀視覺形式。本文將EM收斂的過程進行圖形解釋，生動地顯示了EM算法的輔助函數(shù)保證迭代過程是一個對數(shù)似然函數(shù)單調(diào)增大的過程。圖形還表示了EM算法是獲得最大似然法估計解的可行方法。5、提出EM算法用于灰度圖像——車輛牌照和醫(yī)療圖像分析的實例。本文將EM算法用于灰度圖像的灰度和鄰域均值兩維特征空間的參數(shù)估計。文中成功地運用EM算法的相關理論來完成車輛牌照、醫(yī)療

8、圖像的分割，并對算法做出改進(直方圖擴展、增加分類數(shù))，用于解決實際中碰到的問題。我們的系統(tǒng)用基于特征的EM算法和GMM來求得圖像總體分布的近似，之后用統(tǒng)計模式識別的Bayes分類器進行最優(yōu)分類，根據(jù)估計得到的圖像總體的分布密度函數(shù)，使用準則函數(shù)把圖像中的各個像素分到目標和背景兩個分量(類別)中。6、提出EM算法用于彩色圖像——醫(yī)學圖像分割的實例。本文提出三維彩色圖像的EM算法聚類分割方法用于醫(yī)學圖像的分割。在彩色圖像各顏色分

9、量(R，G，B)形成的三維直方圖上，用EM聚類方法估計三特征的分布參數(shù)。再根據(jù)估計的分布參數(shù)，計算各類的Bayes決策面，將像素點劃分到相應的類別，從而提出了一個實用的最小錯誤率意義上的彩色圖像最優(yōu)分割方法。該方法充分利用了像素的所有顏色分量的分布和相互關系，不受顏色空間的限制，可以滿足各類彩色圖像的分割要求。圖像的總體符合正態(tài)混合分布的模型也是十分合理的。7、強調(diào)最大似然估計在無監(jiān)督學習中的有效作用。許多實踐說明用最大似然估

10、計(MLE-Maximum Likelihood Estimation)是十分有效的方法。本文指出目前有些很好的模式識別的專著[83][10][8][141][55][82][79]，但對EM算法和最大似然估計廣泛的可行性和有效性強調(diào)太少，而過多分析極少出現(xiàn)的不收斂點(實際上不影響計算)。例如專著[83][10][8][141][55]的無監(jiān)督學習的章節(jié)中，也沒有對最大似然法直接迭代收斂性分析和EM算法的應用。書中[83][10

11、]采用了幾個例子來說明最大似然法所不能解決的極個別的問題，而對于最大似然法在解決無監(jiān)督學習問題的優(yōu)勢方面，卻沒有進行詳細的闡述。8、提出EM算法是解決無監(jiān)督學習問題的核心。在無監(jiān)督學習中用迭代法求解最大似然估計，之前一直無法保證收斂，但采用EM算法卻已經(jīng)證明可以保證收斂。將樣本所屬的類別看作是丟失的特征，可以使無監(jiān)督學習問題中的最大似然估計通過EM算法來解決。在所有國內(nèi)外經(jīng)典的教材[83][10][8][141][55][7

12、9]中，具有保證收斂特性的EM算法在解決無監(jiān)督學習情況下混合分布參數(shù)估計的強大作用經(jīng)常被忽視，沒有強調(diào)其解決無監(jiān)督學習下最大似然估計的功用。因為不完備數(shù)據(jù)通常成為EM算法問題的中心，而使得EM算法在無監(jiān)督學習中的作用常常被淡化。實際上，在說明EM算法時，可以有兩種角度：對于嚴格的數(shù)學來說，引入樣本為不完備數(shù)據(jù)，部分特征丟失，樣本所屬的類別被看作是丟失的特征，以及引入輔助函數(shù)來解釋求解過程等都是必要的。而對于工程應用來說EM只是

13、求解最大似然法估計的技巧。過分強調(diào)不完備數(shù)據(jù)或特征丟失，會模糊EM求解時數(shù)據(jù)的性質(zhì)和采用EM的目的。本文重提EM算法是解決無監(jiān)督學習問題的核心，強調(diào)了它解決最大似然估計的作用以及保證收斂到局部最優(yōu)值的特點。關鍵詞 最大似然估計(MLE-Maximum Likelihood Estimation)，EM算法(期望最大-Expectation Maximization)，高斯混合分布模型(GMM-Gaussian Mixture M