基于隨機(jī)森林的代價(jià)敏感特征選擇研究.pdf

1、特征選擇是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的基礎(chǔ)內(nèi)容之一。傳統(tǒng)的、與代價(jià)敏感學(xué)習(xí)相關(guān)的特征選擇研究往往關(guān)注的是樣本的錯(cuò)誤分類代價(jià)，而特征代價(jià)本身，作為另一種代價(jià)類型經(jīng)常被忽略。實(shí)際上，特征的代價(jià)是固有的而且可能有很大的差異，例如在醫(yī)療診斷中不同醫(yī)學(xué)測(cè)試在金錢、時(shí)間等方面的花費(fèi)通常差別很大。如何在特征選擇中體現(xiàn)這種特征代價(jià)的差異性，尋找兼有分類能力和低廉成本的特征子集是本文研究的課題。
　　本文分析了獲得“物美價(jià)廉”的特征子集的可行性在于存在代價(jià)

2、不同的冗余特征。為了合理地反映代價(jià)的作用，我們將代價(jià)轉(zhuǎn)化為概率，并把這種概率應(yīng)用到隨機(jī)森林的框架下，構(gòu)成特征代價(jià)敏感的隨機(jī)森林(FCS-RF)。FCS-RF同普通的隨機(jī)森林相比，特征被用到的概率（及頻率）會(huì)受到代價(jià)的干擾，這種干擾繼而體現(xiàn)在對(duì)特征重要性的評(píng)估上，使生成的特征重要性排序具有代價(jià)敏感性。具體地，我們給出三種方法構(gòu)建FCS-RF，一是在樹的生長(zhǎng)過程中令節(jié)點(diǎn)分裂時(shí)每個(gè)特征被選中的概率與它的代價(jià)成反比;二是對(duì)所有的特征按照一定概率

3、分布進(jìn)行復(fù)制，使得復(fù)制后特征的數(shù)量的比例和代價(jià)成反比;三是每次建樹前對(duì)訓(xùn)練集定量添加少數(shù)特征，這些特征按照和代價(jià)成反比的概率分布來(lái)生成。這三種方法，分別稱作概率選擇法、特征復(fù)制法、特征添加法，本質(zhì)上，都是為了降低高成本特征被用的概率（提高低成本特征被用的概率），從而實(shí)現(xiàn)代價(jià)敏感的特征排序（選擇）。在大量數(shù)據(jù)集上的實(shí)驗(yàn)表明這三種方法是有效的。特別地，應(yīng)用在具有真實(shí)代價(jià)的兩個(gè)數(shù)據(jù)集，KDD99大型數(shù)據(jù)集和自行收集的乙肝數(shù)據(jù)集上，我們的方法取