特征選擇及半監(jiān)督分類方法研究.pdf

1、特征選擇和半監(jiān)督分類是緩解“高維小樣本”問(wèn)題的有效方法，在統(tǒng)計(jì)學(xué)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、模式識(shí)別、生物信息學(xué)等領(lǐng)域取得了豐碩的研究成果，特別是在數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域，特征選擇和半監(jiān)督分類是近幾年來(lái)的研究熱點(diǎn)，具有十分重要的理論研究?jī)r(jià)值和實(shí)際應(yīng)用價(jià)值。
　　 特征選擇和半監(jiān)督分類主要存在以下幾個(gè)問(wèn)題：（1）在選取表征能力強(qiáng)的特征子集時(shí)，很多特征選擇方法選擇類別識(shí)別能力靠前的k個(gè)特征，但這樣組成的特征子集并不一定具有很強(qiáng)的類別區(qū)分能

2、力；（2）標(biāo)準(zhǔn)協(xié)同訓(xùn)練方法要求特征集能構(gòu)成充分冗余的兩個(gè)視圖，即兩個(gè)特征子集相互獨(dú)立且能獨(dú)自訓(xùn)練分類器。這個(gè)條件在很多情況下特別是在面臨“高維小樣本”時(shí)難以滿足；（3）集成多分類器類型的半監(jiān)督分類方法提升“小樣本”背景下弱分類器的性能時(shí)，對(duì)基分類器的要求較高，但基分類器的分類性能因標(biāo)記樣本的不足往往不高，進(jìn)而造成集成后的分類器總體性能提升不明顯；（4）當(dāng)前已有研究者將流形學(xué)習(xí)方法與半監(jiān)督學(xué)習(xí)結(jié)合起來(lái)，利用大量未標(biāo)記樣本蘊(yùn)含的幾何結(jié)構(gòu)信息

3、來(lái)設(shè)計(jì)高精度的分類算法。但通常這類半監(jiān)督方法不僅復(fù)雜且參數(shù)調(diào)節(jié)較為繁瑣。
　　 針對(duì)“高維小樣本”中特征選擇及半監(jiān)督分類存在的問(wèn)題，在如下4個(gè)方面進(jìn)行了研究，相關(guān)研究及主要成果有：
　　 （1）對(duì)單特征類別區(qū)分能力的評(píng)價(jià)擴(kuò)展到對(duì)特征子集的類別區(qū)分能力評(píng)價(jià)，并結(jié)合“最好優(yōu)先”搜索策略，給出了一種能直接選取具有強(qiáng)類別區(qū)分能力的特征子集選取方法FSCRF。實(shí)驗(yàn)結(jié)果表明，F(xiàn)SCRF能在大多數(shù)情況下有效地選出特征數(shù)目更少、分類精度

4、更高的特征子集。在此基礎(chǔ)上，將該方法應(yīng)用在老年癡呆診斷方面，同樣取得了令人滿意的結(jié)果。
　　 （2）分析了現(xiàn)有協(xié)同訓(xùn)練方法存在的一些問(wèn)題，給出了一種新的交叉訓(xùn)練半監(jiān)督分類方法NC-T。NC-T將標(biāo)記樣本劃分成三份，并利用三個(gè)基分類器對(duì)其進(jìn)行訓(xùn)練。它不需要假設(shè)數(shù)據(jù)特征存在兩個(gè)或多個(gè)獨(dú)立特征視圖，相比標(biāo)準(zhǔn)協(xié)同訓(xùn)練，每個(gè)分類器訓(xùn)練的標(biāo)記樣本為2/3而不是1/2，對(duì)標(biāo)記樣本利用更充分。實(shí)驗(yàn)結(jié)果顯示，NC-T方法的分類精度對(duì)標(biāo)準(zhǔn)協(xié)同方法在

5、多數(shù)情況有所提高。
　　 （3）為了能有效降低對(duì)基分類器的要求，通過(guò)融合大量未標(biāo)記樣本信息，給出了一種多類別多分類器集成半監(jiān)督分類方法SSMAB。SSMAB只需要基分類器的分類精度達(dá)到1K（K為類別數(shù)目），就能取得較滿意的效果。實(shí)驗(yàn)結(jié)果表明，在分類精度上，SSMAB與同類型的方法在多數(shù)情況下占有優(yōu)勢(shì)。
　　 （4）由于非公度距離度量對(duì)數(shù)據(jù)之間距離關(guān)系的度量更加合理，給出了一種非公度的半監(jiān)督學(xué)習(xí)方法NMSNN，NMSNN定