基于聚類與流形正則化的分類方法研究.pdf

1、分類器設(shè)計(jì)一直是模式識(shí)別領(lǐng)域研究的重要課題之一。近十年來,隨著統(tǒng)計(jì)學(xué)習(xí)和核函數(shù)理論的深入研究,涌現(xiàn)出許多新方法。這些理論和方法較好地解決了模式分類中的局部最優(yōu)、過擬合以及維數(shù)災(zāi)難等問題。然而,在以支持向量機(jī)為代表的核分類方法的基礎(chǔ)上,近年來又涌現(xiàn)出了一些新的研究熱點(diǎn),這些新的熱點(diǎn)往往是傳統(tǒng)模式分類方法存在的弊端,例如,海量高維數(shù)據(jù)的分類、類重疊和噪聲干擾下的數(shù)據(jù)分類、多標(biāo)記數(shù)據(jù)分類、類不平衡數(shù)據(jù)的分類、非線性分類中的核函數(shù)(矩陣)優(yōu)化以

2、及非線性快速分類等等。在此背景下,本文主要從快速魯棒聚類算法、不平衡樣本的分類、核優(yōu)化、基于流形正則化的快速半監(jiān)督分類等幾個(gè)方面進(jìn)行深入研究,提出了解決類不平衡、核優(yōu)化以及快速分類的新方法。
　　論文的主要研究工作包括以下四個(gè)方面的內(nèi)容:
　　(1)針對實(shí)際應(yīng)用中樣本重疊以及噪聲干擾問題,提出了一種基于樣本加權(quán)的可能性模糊聚類算法和一種魯棒可能性模糊核聚類算法。第一種聚類算法主要解決近似線性可分問題,算法通過為孤立點(diǎn)或噪聲點(diǎn)

3、賦予較小的權(quán)重縮小典型值的收斂范圍,減小其對聚類的影響。在分析算法收斂性的基礎(chǔ)上,證明了其具有比傳統(tǒng)IPCM(ImprovedPossibilisticC-Means)算法更快的收斂速度,在有效降低時(shí)間復(fù)雜度的同時(shí)能夠取得較好的聚類準(zhǔn)確率。第二種聚類算法主要解決線性不可分問題,同時(shí),為解決無監(jiān)督條件下的核函數(shù)參數(shù)選擇問題,提出了一種核函數(shù)參數(shù)優(yōu)化方法。因此,所提出的聚類算法不僅可以同時(shí)處理線性不可分和部分重疊數(shù)據(jù)集,而且具有更強(qiáng)的魯棒性

4、,在噪聲干擾下能夠取得較好的聚類準(zhǔn)確率。
　　(2)針對實(shí)際應(yīng)用中正負(fù)樣本數(shù)量分布不平衡分類問題,基于兩種魯棒聚類算法,建立了可能性模糊支持向量機(jī)(PossibilisticFuzzySupportVectorMachine,PFSVM)模型,提出了基于可能性模糊聚類的不平衡數(shù)據(jù)分類方法。所設(shè)計(jì)的分類器較好地解決了分類中的類不平衡、孤立點(diǎn)和噪聲干擾問題,通過魯棒聚類算法為訓(xùn)練樣本分配模糊隸屬度和典型值,減小了孤立點(diǎn)和噪聲對SVM的

5、分類精度以及泛化能力所造成的影響。
　　(3)針對多核學(xué)習(xí)效率較低以及需要預(yù)先定義一組核函數(shù)等缺陷,建立了無監(jiān)督非參數(shù)核學(xué)習(xí)模型,該模型易于拓展至有監(jiān)督學(xué)習(xí)。提出了非參數(shù)核學(xué)習(xí)分類方法。該方法通過對多核學(xué)習(xí)優(yōu)化問題進(jìn)行放松,使其可以轉(zhuǎn)化為一系列的稀疏特征值分解子問題,每次迭代中只需進(jìn)行閉合解的計(jì)算,從而提高了核學(xué)習(xí)的性能和效率。所建立的模型通過把譜核學(xué)習(xí)和間隔最大化標(biāo)準(zhǔn)進(jìn)行有機(jī)結(jié)合,充分利用了數(shù)據(jù)的低維流形結(jié)構(gòu),增強(qiáng)了決策函數(shù)的光

6、滑性,同時(shí)可以有效利用未標(biāo)記數(shù)據(jù)進(jìn)行最大間隔分類。實(shí)驗(yàn)驗(yàn)證了非參核學(xué)習(xí)的有效性,在有監(jiān)督和無監(jiān)督情況下,提出的非參核學(xué)習(xí)方法的性能均優(yōu)于多核學(xué)習(xí)方法。
　　(4)為解決半監(jiān)督快速學(xué)習(xí)問題,建立了擴(kuò)展的流形正則化框架E-MR(ExtendedManifoldRegularizedFramework),提出了推廣的決策函數(shù)表示定理、單輸出極速學(xué)習(xí)機(jī)與流形正則化框架關(guān)系定理和多輸出極速學(xué)習(xí)機(jī)與流形正則化框架關(guān)系定理。這些定理為快速半監(jiān)督

7、分類模型和算法的提出提供了理論依據(jù),表明所建立的流形正則化極速學(xué)習(xí)機(jī)模型(ManifoldRegularizedExtremeLearningMachine,MRELM)是E-MR框架的一個(gè)特例,其本質(zhì)是隨機(jī)地離散化核函數(shù)。因此,所提出的算法是傳統(tǒng)核分類的近似算法。MRELM繼承了ELM無需調(diào)整模型參數(shù)的優(yōu)點(diǎn),能夠?yàn)椴煌膶W(xué)習(xí)任務(wù)提供統(tǒng)一的解析解。實(shí)驗(yàn)結(jié)果驗(yàn)證了MRELM算法的有效性。
　　本文研究的內(nèi)容主要涉及到了不平衡數(shù)據(jù)分類