非線性維數(shù)約減算法中若干關(guān)鍵問題的研究.pdf

1、維數(shù)約減是處理多維數(shù)據(jù)的一個(gè)重要步驟,是機(jī)器學(xué)習(xí)中的一個(gè)重要研究課題,尤其是非線性維數(shù)約減技術(shù)已經(jīng)成為機(jī)器學(xué)習(xí)中的一個(gè)研究熱點(diǎn).本文針對非線性維數(shù)約減算法中的若干關(guān)鍵問題進(jìn)行了研究. 首先,分析和比較了基于應(yīng)力函數(shù)的評價(jià)模型、基于剩余方差的評價(jià)模型和基于DY-DX表示法的評價(jià)模型,提出了一種基于距離比例方差的評價(jià)模型.實(shí)驗(yàn)結(jié)果表明,利用該模型不但可以評判同一算法在不同參數(shù)下的映射效果,而且可以比較不同算法之間的嵌入質(zhì)量.同時(shí)還討

2、論了如何利用應(yīng)力函數(shù)、剩余方差和距離比例方差來確定鄰域參數(shù)和低維空間的維數(shù). 其次,研究了增量式非線性維數(shù)約減算法問題,通過改進(jìn)增量式ISOMAP算法得到了基于距離保持的增量式算法,提出了基于拓樸保持的增量式算法和基于k近鄰?fù)队暗脑隽渴剿惴?這三種算法都可以較為中肯地將訓(xùn)練集之外的樣本映射到低維空間中.理論分析和實(shí)驗(yàn)結(jié)果表明,基于距離保持的增量式算法具有較好的映射質(zhì)量,基于拓樸保持的增量式算法具有較高的效率,但它們都只是對ISO

3、MAP算法的擴(kuò)展.而基于k近鄰?fù)队暗脑隽渴剿惴ㄍ瑫r(shí)具有較好的映射質(zhì)量和較高的計(jì)算效率,而且可以作為任一種非線性維數(shù)約減算法的擴(kuò)展.對于含噪聲的數(shù)據(jù),由于新樣本的低維嵌入與訓(xùn)練集的低維坐標(biāo)無關(guān),基于拓樸保持的增量式算法對噪聲不太敏感.而其他兩種算法只要在映射訓(xùn)練樣本時(shí)較好地處理了噪聲,就可以忽略噪聲的影響. 最后,本文討論了非線性維數(shù)約減算法在分類和聚類中的應(yīng)用.在指紋分類和文本分類中的實(shí)驗(yàn)結(jié)果表明,通過結(jié)合非線性維數(shù)約減算法和分