流形學(xué)習(xí)的鄰域選擇和增量算法研究.pdf

1、隨著信息技術(shù)的快速發(fā)展，真實(shí)世界中數(shù)據(jù)的規(guī)模也在以幾何級(jí)的速度增長，出現(xiàn)了大量的高維數(shù)據(jù)，這些數(shù)據(jù)具有高維稀疏性。數(shù)據(jù)的這種高維稀疏性給現(xiàn)代數(shù)據(jù)分析與處理帶來巨大挑戰(zhàn)。數(shù)據(jù)降維是許多高維數(shù)據(jù)分析任務(wù)的預(yù)處理階段之一，然而隨著維數(shù)的不斷膨脹，傳統(tǒng)的線性數(shù)據(jù)降維方法已不能滿足需求，需要找到新的降低數(shù)據(jù)維數(shù)的方法。流形學(xué)習(xí)就是一種新的菲線性降維技術(shù)，即通過分析高維觀測空間中樣本集的外在特性來發(fā)掘隱藏在其中的本質(zhì)結(jié)構(gòu)，從而得到有用的信息，它已經(jīng)

2、成為大規(guī)模海量高維數(shù)據(jù)預(yù)處理的關(guān)鍵技術(shù)。近年來，基于不同理論和方法的流形學(xué)習(xí)算法已經(jīng)取得了較好的研究成果，能更好地挖掘隱藏在高維數(shù)據(jù)中的低維流形結(jié)構(gòu)。
　　然而，流形學(xué)習(xí)的這些算法仍然存在一些問題，如根據(jù)流形結(jié)構(gòu)自適應(yīng)地構(gòu)建鄰域關(guān)系圖直接關(guān)系到流形低維本征結(jié)構(gòu)的有效重構(gòu);基于矩陣譜分解的方法不能得到數(shù)據(jù)集從原采樣空間到本征結(jié)構(gòu)空間對(duì)應(yīng)的顯式映射函數(shù)，對(duì)不斷增加的新采樣點(diǎn)得到其低維嵌入值是困難的。這些流形學(xué)習(xí)領(lǐng)域中的重要問題，理論上

3、和應(yīng)用上都值得關(guān)注。本文就這兩個(gè)問題展開了研究，具體貢獻(xiàn)如下:
　　(1)針對(duì)傳統(tǒng)鄰域選擇方法不能根據(jù)流形樣本密度和彎曲度合理選擇鄰域的缺點(diǎn)，提出了一種有序自適應(yīng)的鄰域選擇算法。該算法從流形上曲率最小的點(diǎn)開始，以寬度優(yōu)先的次序不斷地處理每個(gè)點(diǎn)。根據(jù)流形結(jié)構(gòu)的局部線性特性，利用已有的鄰域信息增量地對(duì)搜索到的數(shù)據(jù)點(diǎn)選擇合適的鄰域。實(shí)驗(yàn)結(jié)果表明:該方法應(yīng)用于Isoma后，對(duì)不同結(jié)構(gòu)的數(shù)據(jù)集嵌入結(jié)果更加準(zhǔn)確。
　　(2)基于人的認(rèn)知

4、，提出了一種保持局部鄰域關(guān)系的增量Hessian LLE(LIHLLE)算法，該方法通過保證流形新增樣本點(diǎn)在原空間和嵌入空間局部鄰域的線性關(guān)系不變，用其已有鄰域點(diǎn)的低維坐標(biāo)線性表示新增樣本點(diǎn)，得到新增點(diǎn)的低維嵌入，實(shí)現(xiàn)了增量學(xué)習(xí)。在Swiss roll with hole和frey_rawface數(shù)據(jù)集上的實(shí)驗(yàn)表明本文提出的方法簡便、有效可行。
　　(3)基于Isomap算法全局保距的思想，提出了局部保距的增量Isomap算法（L

5、I-Isomap），該算法通過保證新增點(diǎn)在各個(gè)鄰域方向的徑向距離不變，最小化新增點(diǎn)與鄰域點(diǎn)間夾角在原空間和嵌入空間的差來實(shí)現(xiàn)增量學(xué)習(xí)，給出了目標(biāo)函數(shù)，通過解最優(yōu)化問題得到新增點(diǎn)的低維嵌入，在Swiss roll和frey_ rawface數(shù)據(jù)集上的實(shí)驗(yàn)表明該方法合理高效。
　　總之，本研究通過對(duì)不同流形結(jié)構(gòu)的探討，提出了一種普適性較強(qiáng)的自適應(yīng)鄰域選擇算法，為大多數(shù)流形學(xué)習(xí)算法提供參考和技術(shù)支持;對(duì)已有的一些流形學(xué)習(xí)算法進(jìn)行擴(kuò)展，提