數(shù)據(jù)分布保持的嵌入及其在特征選擇中的應(yīng)用.pdf

1、機(jī)器學(xué)習(xí)、信號(hào)、圖像處理、計(jì)算視覺(jué)中會(huì)出現(xiàn)高維數(shù)據(jù)，高維數(shù)據(jù)不僅增加算法的計(jì)算時(shí)間和內(nèi)存需求，同時(shí)也因“維數(shù)災(zāi)難”降低算法的有效性，高維數(shù)據(jù)中常會(huì)潛藏著一個(gè)低維結(jié)構(gòu)。維數(shù)約簡(jiǎn)方法通過(guò)找到原始高維數(shù)據(jù)的低維表示來(lái)降低數(shù)據(jù)的維數(shù)，以此來(lái)降低計(jì)算時(shí)間消耗和增加算法的有效性。維數(shù)約簡(jiǎn)的方式有兩種，一是特征變換，即將高維特征變換到新的特征空間，并試圖保持?jǐn)?shù)據(jù)的某種特性，如數(shù)據(jù)間的歐氏距離，而這種方式會(huì)改變?cè)紨?shù)據(jù)特征的物理含義。另外一種是特征選擇

2、，其選出最能描述數(shù)據(jù)的一個(gè)子集，因此不會(huì)改變?cè)紨?shù)據(jù)特征的物理含義，因此在某些應(yīng)用中，為了保持原始特征的含義，必須使用特征選擇的維數(shù)約簡(jiǎn)的方法，如基因選擇。當(dāng)類標(biāo)簽是可利用的時(shí)候，類標(biāo)簽可以用來(lái)指導(dǎo)我們?cè)O(shè)計(jì)不同的標(biāo)準(zhǔn)用于評(píng)估特征的重要性。然而當(dāng)類標(biāo)簽不可利用時(shí)，非監(jiān)督特征選擇就變成非常困難。為了解決這些挑戰(zhàn)，大多數(shù)的無(wú)監(jiān)督維數(shù)約簡(jiǎn)算法試圖保持?jǐn)?shù)據(jù)的某些特性保持不變。本文針對(duì)高維數(shù)據(jù)維數(shù)約簡(jiǎn)不同應(yīng)用，提出了如下兩種維數(shù)約簡(jiǎn)方法：
　

3、　首先，提出一種保持輸入數(shù)據(jù)分布的數(shù)據(jù)嵌入方法，叫做 Distribution Preserving Embedding(DPE)。該方法試圖去保持原始輸入數(shù)據(jù)的分布信息，即最小化原始數(shù)據(jù)和低維數(shù)據(jù)的密度間的差異。我們給出理論證明，該算法的逼近誤差為此處公式省略，這里n代表樣本數(shù)目，d(d>0)是低維空間的維數(shù)，可以得出d越小，則逼近誤差則越小。因此DPE比較適用于數(shù)據(jù)可視化。此外，DPE很自然適合增量學(xué)習(xí)，因此可以很容易適用于新樣本的

4、嵌入。數(shù)據(jù)的分布能很好地刻畫數(shù)據(jù)的內(nèi)在模式，提出的DPE能有效的保留數(shù)據(jù)的原始分布特性，因此，其能夠有效地發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在模式(結(jié)構(gòu))，而傳統(tǒng)的方法沒(méi)有明確考慮數(shù)據(jù)本身的分布。最后，在不同的數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn)，結(jié)果顯示了DPE的有效性和優(yōu)越性。
　　然后，提出了一種保持?jǐn)?shù)據(jù)分布特性的無(wú)監(jiān)督特征選擇方法 Distribution Preserving Feature Selection(DPFS)。該方法試圖找到能保持?jǐn)?shù)據(jù)分布的最顯