凸分析在概率圖模型中的應(yīng)用.pdf

1、概率圖模型(Graphical Model，Probabilistic Graphical Model)是一種結(jié)合概率論和圖論，通過表示局部直接關(guān)聯(lián)的條件概率刻畫系統(tǒng)的有效工具，以其直觀易懂的特點(diǎn)在數(shù)據(jù)處理中被廣泛使用。然而隨著概率節(jié)點(diǎn)的增多，系統(tǒng)的總體分析變得困難，推理通常也比較復(fù)雜。本文在正則化框架下，以凸分析為研究工具，研究監(jiān)督、半監(jiān)督和非監(jiān)督情形下的概率圖模型，形式化的目標(biāo)函數(shù)簡單，從而能夠?qū)С龈咝У耐评硭惴?并且監(jiān)督、半監(jiān)督以

2、及非監(jiān)督之間的關(guān)系自然演進(jìn)，能夠統(tǒng)一在本文提供的正則化框架下;此外，設(shè)計在線算法求解正則化優(yōu)化問題，能很好地平衡概率圖模型的推理計算開銷和泛化性能。
　　本研究主要內(nèi)容包括：⑴研究多分類學(xué)習(xí)，設(shè)計的貝葉斯分類器的核心節(jié)點(diǎn)為輸入樣本特征賦予概率，標(biāo)簽和特征通過該概率賦值建立聯(lián)系?；趯ψ畲髮?shù)似然邏輯建立的優(yōu)化問題進(jìn)行分析，我們設(shè)計了計算開銷極小的學(xué)習(xí)和預(yù)測方法，實(shí)驗(yàn)還證明該貝葉斯分類器在預(yù)測準(zhǔn)確性和泛化性上都優(yōu)于傳統(tǒng)的多分類方法。

3、我們的貝葉斯分類器兼具簡單易懂、計算復(fù)雜性小、預(yù)測準(zhǔn)確等優(yōu)點(diǎn)。⑵設(shè)計了兩個處理方法。第一個利用監(jiān)督學(xué)習(xí)中貝葉斯分類器使用在線算法進(jìn)行學(xué)習(xí)，且具有較快收斂速度和較好泛化性能的優(yōu)點(diǎn)，讓貝葉斯分類器為無標(biāo)簽數(shù)據(jù)預(yù)測類型標(biāo)簽，并將預(yù)測的類型標(biāo)簽和無標(biāo)簽數(shù)據(jù)組合在一起，用于訓(xùn)練。該方法是一個典型的探索-利用(Exploration-Exploitation)過程。第二個通過對貝葉斯分類器目標(biāo)函數(shù)的分析，將之對應(yīng)上以LogSumExp為目標(biāo)函數(shù)的帶

4、約束優(yōu)化問題，約束部分與類型標(biāo)簽有關(guān)，從而導(dǎo)出用LogSumExp處理無標(biāo)簽數(shù)據(jù)的基本框架，用于度量參數(shù)與特征數(shù)據(jù)結(jié)合的一致性。我們導(dǎo)出的這個框架能夠覆蓋k平均(k-means)方法，區(qū)別在于我們的模型基于乘積連接模型參數(shù)和無標(biāo)簽數(shù)據(jù)，而經(jīng)典k-means使用L2距離。雖然我們在半監(jiān)督學(xué)習(xí)中導(dǎo)出LogSumExp，但是需要說明的是該方法也可以用于非監(jiān)督學(xué)習(xí)。⑶貝葉斯分類器處理標(biāo)記數(shù)據(jù)的目標(biāo)函數(shù)進(jìn)行分析，導(dǎo)出了其具有定義Fenchel共軛

5、函數(shù)使用的優(yōu)化問題目標(biāo)函數(shù)的形式;通過對約束優(yōu)化問題和Fenchel共軛定義的關(guān)聯(lián)，提取約束優(yōu)化問題目標(biāo)函數(shù)部分LogSumExp，將此作為處理非監(jiān)督數(shù)據(jù)的框架。LogSumExp的導(dǎo)數(shù)為模型各個類型賦予不同的權(quán)重，以實(shí)現(xiàn)無類型標(biāo)記時對學(xué)習(xí)的引導(dǎo)。⑷將凸分析的對偶原理用于正則優(yōu)化問題導(dǎo)出歸約原理。歸約原理將只含有一個優(yōu)化元的正則化優(yōu)化問題等價于包含多個變元的對偶問題，并且建立兩個問題優(yōu)化元間的關(guān)系式?；跉w約原理，我們認(rèn)識到模型中與序列

6、有關(guān)的變元對應(yīng)著只含一個參數(shù)優(yōu)化問題的梯度，從而與大量序列變元有關(guān)的優(yōu)化問題變成少量變元的優(yōu)化問題。歸約原理是建立概率圖模型正則優(yōu)化問題視圖的基礎(chǔ)，它也導(dǎo)出了任務(wù)“定義正則優(yōu)化問題，以使得數(shù)據(jù)項(xiàng)梯度與給定概率圖模型一致”。⑸共軛函數(shù)定義對應(yīng)一個優(yōu)化問題，我們建立從共軛函數(shù)輸入（對應(yīng)優(yōu)化問題參數(shù)）到優(yōu)化問題解的映射?；贔enchel不等式和共軛雙射性，在函數(shù)嚴(yán)格凸時，我們得到從優(yōu)化問題參數(shù)到優(yōu)化問題極值的雙射視圖，在其中發(fā)揮作用的是原函

7、數(shù)和共軛函數(shù)的梯度。因?yàn)樘荻仍陉P(guān)聯(lián)參數(shù)和極值的重要作用，我們將這個性質(zhì)稱為梯度對偶原理。梯度對偶是我們定義正則優(yōu)化問題正則項(xiàng)的理論基礎(chǔ)。⑹概率空間及其對偶空間。概率單純形是概率圖中的重要部件，在正則優(yōu)化處理中需要處理參數(shù)和梯度（互為梯度對偶關(guān)系）的變換。通過對函數(shù)定義域結(jié)構(gòu)的分析，使不能直接使用的梯度對偶原理在共軛函數(shù)和LogSumExp上成立，并將這兩個共軛函數(shù)作為度量建立概率空間及其對偶空間。此外，我