無監(jiān)督與半監(jiān)督降維算法研究.pdf

1、在機(jī)器學(xué)習(xí)和模式識(shí)別領(lǐng)域，會(huì)不可避免地遇到很多高維數(shù)據(jù)，從而出現(xiàn)“維數(shù)災(zāi)難”。為了避免“維數(shù)災(zāi)難”問題，需要對高維數(shù)據(jù)進(jìn)行特征降維。特征降維是指通過線性或者非線性映射把高維數(shù)據(jù)投影到一個(gè)低維的空間，同時(shí)揭示隱藏在數(shù)據(jù)中的內(nèi)在結(jié)構(gòu)信息。本文主要研究基于無監(jiān)督和半監(jiān)督的特征降維算法。
　　 首先，在無監(jiān)督降維方面，高斯過程隱變量模型是一種有效的方法。它提供了一個(gè)從低維隱變量空間到高維觀測數(shù)據(jù)空間的光滑映射。這種光滑映射就可以使得在隱

2、空間中相距較近的樣本點(diǎn)，經(jīng)過映射到觀測數(shù)據(jù)空間后，依然相距較近。然而，它并不能保證在數(shù)據(jù)空間相距較近的樣本點(diǎn)經(jīng)該映射降維到隱空間后依然相距較近。為了解決高斯過程隱變量模型的這一不足，提出了一種基于局部保持的隱變量模型算法。該算法能使得在數(shù)據(jù)空間相距較近的樣本點(diǎn)經(jīng)過降維后，在隱空間中依然相距較近。在幾類數(shù)據(jù)庫上進(jìn)行的測試結(jié)果表明了該算法的有效性。
　　 其次，在半監(jiān)督降維方面，除了可以知道樣本的類標(biāo)信息，還有另外一種監(jiān)督信息，即成

3、對約束信息。成對約束是指兩個(gè)樣本要么屬于同一類，要么不屬于同一類。但是目前利用成對約束進(jìn)行降維的算法只是簡單的利用約束關(guān)系，并沒有挖掘成對約束關(guān)系中的本質(zhì)特性，比如傳遞性和排斥性。因此，提出了兩種半監(jiān)督降維算法：一種是基于整體保持的半監(jiān)督降維算法，該算法不僅利用了約束關(guān)系的傳遞性和排斥性，而且還保持?jǐn)?shù)據(jù)集所在低維流形的整體結(jié)構(gòu)；另一種是基于局部保持的半監(jiān)督降維算法，該算法除了利用了成對約束的傳遞性和排斥性外，還可以保持?jǐn)?shù)據(jù)集所在低維流形