半監(jiān)督聚類(lèi)與分類(lèi)算法研究.pdf

1、機(jī)器學(xué)習(xí)是人工智能的重要研究課題之一，已廣泛應(yīng)用于自然語(yǔ)言處理、生物特征識(shí)別、計(jì)算機(jī)視覺(jué)和手寫(xiě)數(shù)字識(shí)別等領(lǐng)域。傳統(tǒng)的機(jī)器學(xué)習(xí)包括有監(jiān)督和無(wú)監(jiān)督兩種學(xué)習(xí)方式。監(jiān)督學(xué)習(xí)需要大量的標(biāo)記樣本以學(xué)習(xí)一個(gè)好的分類(lèi)器，并利用該分類(lèi)器對(duì)未見(jiàn)樣本進(jìn)行類(lèi)別判斷和預(yù)測(cè)。但是當(dāng)標(biāo)記樣本較少時(shí)，所獲得分類(lèi)器的泛化能力往往較差，而且樣本的標(biāo)記過(guò)程既耗時(shí)又費(fèi)力。而無(wú)監(jiān)督學(xué)習(xí)由于沒(méi)有標(biāo)記樣本導(dǎo)致了學(xué)習(xí)過(guò)程的盲目性，可能無(wú)法取得理想的結(jié)果。因此，如何充分利用少量的標(biāo)記樣

2、本和大量的未標(biāo)記樣本獲得較好的學(xué)習(xí)器，即半監(jiān)督學(xué)習(xí)，己成為機(jī)器學(xué)習(xí)中最受關(guān)注的方向之一。
　　半監(jiān)督學(xué)習(xí)包含半監(jiān)督聚類(lèi)、半監(jiān)督分類(lèi)和半監(jiān)督回歸三種學(xué)習(xí)方式，本文在分析了半監(jiān)督學(xué)習(xí)算法的研究現(xiàn)狀及存在問(wèn)題的基礎(chǔ)上，對(duì)半監(jiān)督聚類(lèi)和分類(lèi)算法進(jìn)行了研究。
　　首先，將流形假設(shè)引入到半監(jiān)督聚類(lèi)算法中，提出了一種基于流形結(jié)構(gòu)的半監(jiān)督混合高斯模型，該算法依據(jù)標(biāo)記和未標(biāo)記樣本的局部一致性，利用Kullback-Leibler散度構(gòu)建近鄰圖以

3、挖掘出樣本的內(nèi)在流形結(jié)構(gòu)，并將流形結(jié)構(gòu)以圖正則化的形式與先驗(yàn)信息分別加入到混合高斯模型的目標(biāo)函數(shù)中，最后通過(guò)EM算法求解獲得最優(yōu)參數(shù)。在仿真和實(shí)際數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明了本算法的有效性，同時(shí)在圖像分割上的實(shí)驗(yàn)進(jìn)一步說(shuō)明了本算法具有一定的實(shí)用性。
　　其次，考慮到核最小平方誤差算法的性能?chē)?yán)重依賴(lài)于標(biāo)記樣本的數(shù)量，因此本文將流形假設(shè)應(yīng)用于該算法中，提出了一種基于拉普拉斯正則化的半監(jiān)督核最小平方誤差算法。通過(guò)構(gòu)造近鄰圖挖掘出標(biāo)記和未標(biāo)記樣

4、本的內(nèi)在流形結(jié)構(gòu)，并采用圖拉普拉斯算子構(gòu)建流形正則項(xiàng)，嵌入到核最小平方誤差算法的目標(biāo)函數(shù)中，從而實(shí)現(xiàn)半監(jiān)督分類(lèi)算法。在標(biāo)準(zhǔn)數(shù)據(jù)集和人臉識(shí)別上的實(shí)驗(yàn)結(jié)果表明本算法能有效地處理標(biāo)記樣本較少的問(wèn)題，同時(shí)獲得一個(gè)較好的分類(lèi)器。
　　然后，提出了一種基于聚類(lèi)分析的自訓(xùn)練分類(lèi)算法，該算法將聚類(lèi)算法嵌入到自訓(xùn)練分類(lèi)算法中，其基本思想是利用半監(jiān)督聚類(lèi)算法盡量挖掘出標(biāo)記和未標(biāo)記樣本的結(jié)構(gòu)信息，并結(jié)合所得到的結(jié)構(gòu)信息預(yù)選擇出高置信度樣本，然后用判別式

5、分類(lèi)器從預(yù)選擇樣本集中選擇高置信度樣本。相比于自訓(xùn)練分類(lèi)算法，本算法一定程度上彌補(bǔ)了僅用標(biāo)記樣本帶來(lái)的信息不足。仿真實(shí)驗(yàn)表明，當(dāng)標(biāo)記樣本覆蓋的空間與真實(shí)數(shù)據(jù)空間不一致時(shí)，本算法能獲得較好的泛化能力。實(shí)際數(shù)據(jù)的實(shí)驗(yàn)結(jié)果更進(jìn)一步說(shuō)明了本算法的有效性和魯棒性。
　　最后，提出了一種基于半監(jiān)督降維技術(shù)和仿射傳播算法的自訓(xùn)練分類(lèi)算法，該算法將降維方法嵌入到自訓(xùn)練分類(lèi)算法中，采用半監(jiān)督降維技術(shù)能有效地解決標(biāo)記樣本較少情況下數(shù)據(jù)的維數(shù)災(zāi)難問(wèn)題，