非監(jiān)督的結(jié)構(gòu)學(xué)習(xí)及其應(yīng)用.pdf

1、在機(jī)器學(xué)習(xí)領(lǐng)域中，數(shù)據(jù)的表示方式是其中的核心問題。傳統(tǒng)的方法經(jīng)常通過特征向量的方式將數(shù)據(jù)表示為高維空間中的點(diǎn)。特征向量的表示方式由于簡單直觀的特性得到廣泛的研究。但是，近年來的一些研究表明，單一的特征向量表示很難描述數(shù)據(jù)的某些特性。因此，基于結(jié)構(gòu)的數(shù)據(jù)表示方式已經(jīng)成為研究人員關(guān)注的重點(diǎn)。本文的研究重點(diǎn)是通過非監(jiān)督的結(jié)構(gòu)方式學(xué)習(xí)數(shù)據(jù)的結(jié)構(gòu)。由于數(shù)據(jù)結(jié)構(gòu)空間的搜索是組合問題，會出現(xiàn)組合爆炸現(xiàn)象，因此如何通過近似途徑快速地搜索數(shù)據(jù)的結(jié)構(gòu)空間是

2、非監(jiān)督學(xué)習(xí)的重點(diǎn)。根據(jù)不同任務(wù)的特性，我們提出了不同非監(jiān)督學(xué)習(xí)算法。在文本聚類任務(wù)中，我們提出了層次譜聚類算法來進(jìn)行文本的層次聚類和語義樹的生成。在圖像的物體識別任務(wù)中，我們提出了結(jié)構(gòu)推導(dǎo)算法和知識傳播策略學(xué)習(xí)物體的圖模型的結(jié)構(gòu)和參數(shù)。 論文主要研究內(nèi)容與創(chuàng)新成果如下： 1.我們提出基于概率文法和馬爾可夫場的物體模型(Probabilistic Grammar-Markov Model，PGMM)。PGMM模型的學(xué)習(xí)過程

3、只需要極少量的監(jiān)督信息，即PGMM模型的結(jié)構(gòu)和參數(shù)都可以通過非監(jiān)督的方式進(jìn)行學(xué)習(xí)。關(guān)鍵點(diǎn)三元組被提出作為PGMM模型的基本組成單位。結(jié)構(gòu)推導(dǎo)算法通過對關(guān)鍵點(diǎn)三元組的組合來生成復(fù)雜的模型結(jié)構(gòu)。由于PGMM模型的結(jié)構(gòu)采用了聯(lián)合樹的形式，允許動態(tài)規(guī)劃算法的使用，因此PGMM模型可以快速推理和參數(shù)學(xué)習(xí)。實(shí)驗(yàn)結(jié)果證明，PGMM模型能處理在未知背景中的物體識別和定位。在學(xué)習(xí)和推理過程中，PGMM模型允許物體在2D范圍內(nèi)的任意變化(位置、旋轉(zhuǎn)和尺寸)

4、。由于概率文法模型的幫助，PGMM模型不但能夠處理物體具有不同的形態(tài)，還能夠處理由不同的物體類別構(gòu)成的混合類數(shù)據(jù)。 2.我們提出一種學(xué)習(xí)概率物體模型(Probabilistic Object Model，POM)的新方法。POM模型綜合各種視覺特征，能夠同時執(zhí)行圖像分類、圖像分割和圖像物體識別等多個視覺任務(wù)的能力。我們通過組合使用互補(bǔ)圖像特征的基本的概率物體模型的方式來學(xué)習(xí)POM模型的結(jié)構(gòu)。在模型的學(xué)習(xí)過程中，我們提出了知識傳播

5、策略。該策略允許一個基本概率物體模型為其它基本概率物體模型提供信息，并且指導(dǎo)它們的學(xué)習(xí)過程。知識傳播策略顯著地降低了訓(xùn)練過程對數(shù)據(jù)的要求，也提高了推理過程的速度。PGMM模型是POM模型中的一個組成部分。相對于PGMM模型，POM模型不僅保留了PGMM模型的所有優(yōu)點(diǎn)，而且能夠執(zhí)行更多的視覺任務(wù)。同時，在圖像分類任務(wù)中，POM模型也具有更高的性能。 3.我們提出一種新穎的層次聚類算法，譜層次聚類算法(Spectral Hierar

6、chi-cal Clustering，SHC)。SHC算法是基于譜圖理論的層次聚類算法。它采用AMG(Algebraic Multi-Grid)數(shù)值計(jì)算方法，通過迭代地權(quán)重融合方式，自底向上地分層合并節(jié)點(diǎn)進(jìn)行聚類。AMG數(shù)值計(jì)算方法的應(yīng)用保證了算法能夠得到近似全局最優(yōu)解。實(shí)驗(yàn)證明了SHC算法在文本聚類算法中的性能。SHC算法最終得到的自然并且不規(guī)則的聚類結(jié)構(gòu)也是其一大特性?；诓┛蜆?biāo)簽的語義樹生成實(shí)驗(yàn)證明了SHC算法的聚類結(jié)構(gòu)的合理性。