基于隨機(jī)初始化的非線性降維算法的研究.pdf

1、進(jìn)入21世紀(jì)以來，隨著互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展，人們獲得的數(shù)據(jù)量正在以幾何級(jí)的速度快速增長。在許多領(lǐng)域，如電子商務(wù)、天文、航空航天等，每天所收集的數(shù)據(jù)已經(jīng)不能用傳統(tǒng)的GB或TB來衡量。目前，數(shù)據(jù)正在從不同層面對(duì)人類社會(huì)經(jīng)濟(jì)生活產(chǎn)生著重要而深遠(yuǎn)的影響。如此海量的數(shù)據(jù)即給人們的生活帶來了方便，也給一些企業(yè)和科研工作人員帶來了煩惱。豐富的信息可以讓人們?cè)谧龀鲞x擇前有更多的權(quán)衡。但是如何從海量數(shù)據(jù)中快速的挖掘出對(duì)企業(yè)有意義的數(shù)據(jù)已經(jīng)成為企業(yè)需要面

2、對(duì)的問題。如何對(duì)這些體積龐大、維度更高的數(shù)據(jù)進(jìn)行有效的分析也在困擾著科研工作人員。其實(shí)，解決這些問題的根本就在于如何通過一種技術(shù)手段將這些維度很高的數(shù)據(jù)用我們熟悉的低維數(shù)據(jù)來表示。因?yàn)橐坏?shù)據(jù)的維度變的很低，對(duì)我們來說，處理起來就非常的簡單。降維技術(shù)的存在正好可以被用來解決這一類問題。
　　降維技術(shù)的出現(xiàn)給企業(yè)和科研工作人員的工作提供了極大的便利。通過使用降維技術(shù)，我們可以更容易地對(duì)高維數(shù)據(jù)的低維表示進(jìn)行分析。如此一來，我們就可以

3、去更好的應(yīng)用這些高維數(shù)據(jù)。降維技術(shù)的產(chǎn)生經(jīng)歷了一個(gè)由線性到非線性的過程。在早期，線性降維技術(shù)應(yīng)用的比較廣泛。誕生了許多線性降維算法。例如有主成分分析算法、線性判別算法、投影尋蹤算法等。對(duì)于一些其結(jié)構(gòu)呈現(xiàn)線性關(guān)系的數(shù)據(jù)，線性降維算法往往能得到較好的降維結(jié)果。但是，隨著數(shù)據(jù)體積以及維度的不斷增加，數(shù)據(jù)的結(jié)構(gòu)也發(fā)生了很大變化。數(shù)據(jù)之間的結(jié)構(gòu)不再是簡單的線性關(guān)系，而是一種更加復(fù)雜的非線性結(jié)構(gòu)。在對(duì)具有非線性結(jié)構(gòu)的數(shù)據(jù)上應(yīng)用線性降維算法時(shí)，其得到

4、的低維結(jié)果往往無法令人滿意。為了解決這一難題，許多非線性降維算法近年來相繼被人們提出。比如有多維尺度分析算法、ISOMAP算法、局部線性嵌入降維算法、隨機(jī)鄰域嵌入算法以及t分布隨機(jī)鄰域嵌入算法等等。與線性降維算法相比，非線性降維算法在面對(duì)結(jié)構(gòu)為非線性的數(shù)據(jù)時(shí)往往具有著明顯的優(yōu)勢(shì)。其得到的低維結(jié)果也往往好于由線性降維算法產(chǎn)生的低維結(jié)果。
　　本文主要討論的是非線性降維算法。在對(duì)幾種線性降維算法的原理進(jìn)行簡單介紹之后，接著對(duì)部分非線性

5、降維算法的原理及具體的實(shí)現(xiàn)過程進(jìn)行了詳細(xì)的介紹。通過對(duì)不同的非線性降維算法原理的比較。在此基礎(chǔ)上本文提出了一種新的基于隨機(jī)初始化的非線性降維算法，稱之為最近鄰隨機(jī)嵌入（Stochastic nonlinear dimensionality reduction based on nearest neighbors，簡稱NNSE）算法。我們將該算法產(chǎn)生的低維結(jié)果與另外三種降維算法（主成分分析算法、局部線性嵌入算法、t分布隨機(jī)鄰域嵌入算法）得