多維約束下代價敏感集成分類器的研究.pdf

1、在數(shù)據(jù)挖掘中要面對三大挑戰(zhàn)性問題：挖掘方法、挖掘?qū)ο蠛屯诰蚣s束，分類問題是三大挑戰(zhàn)中的挖掘方法問題。早期的分類的效果一般以準(zhǔn)確率為標(biāo)準(zhǔn)，但近來專家認(rèn)為不同的誤分類所帶來的損失是不相同的，認(rèn)為分類的效果應(yīng)以誤分類代價減少的多少為衡量標(biāo)準(zhǔn)。比如，把一真正有病的病人誤診為健康人所要付出的代價就比把一健康的病人診斷為有病所要付出的代價大。這樣，以誤分類代價減少的多少為衡量標(biāo)準(zhǔn)成為分類研究的熱門問題。比如[4]提出了基于代價敏感的分類算法；[1]

2、提出了最小化測試代價和誤分類代價的算法和[2]提出了不同代價尺度的代價敏感算法。 代價敏感的學(xué)習(xí)（Cost-Sensitive Learning，CSL）是一種以誤分類代價最小為衡量標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)方法。CSL借用分類學(xué)習(xí)和平衡代價的決策理論（比如用決策樹、貝葉斯分類器等決策思想），其目標(biāo)是代價敏感的、追求代價最小化。 代價敏感學(xué)習(xí)最早用于解決醫(yī)療診斷系統(tǒng)的需求。在醫(yī)療診斷中，對于一個不能很確切地進(jìn)行診斷的病人，就有可能發(fā)

3、生兩種錯誤，即無病實例判斷為有?。础叭巍?，在CSL中被稱為FP（False Positive））或有病實例判定為無?。础皸壵妗?，在CSL中為FN（False Negative））。在以往的代價敏感分類學(xué)習(xí)中，多數(shù)專家都對這一錯誤代價即誤分類代價進(jìn)行研究，并且認(rèn)為違反這兩種錯誤FP和FN的代價是應(yīng)該受到相同的懲罰。本文的模型是建立在多維約束下的代價敏感學(xué)習(xí)。本文首先介紹機(jī)器學(xué)習(xí)的主要研究領(lǐng)域，并分析目前國內(nèi)外關(guān)于代價敏感學(xué)習(xí)的理論與

4、方法，指出現(xiàn)有的代價敏感學(xué)習(xí)方法的優(yōu)點與不足。針對不足之處，提出了新的方法，并通過實驗證明本文提出的方法的有效性和可行性。本文的主要研究內(nèi)容如下： （1）簡述代價敏感學(xué)習(xí)（CSL）現(xiàn)有的方法，分析其優(yōu)缺點。同時也介紹了與代價敏感學(xué)習(xí)密切相關(guān)的代價約束的概念和基本方法。 （2）提出多維約束下的代價敏感學(xué)習(xí)的新方法。 本文改變了前人將代價敏感學(xué)習(xí)中各種代價用同一代價尺度來衡量的習(xí)慣做法，取而代之用不同的代價尺度來衡量

5、不同類型的代價。另外，獲取訓(xùn)練實例需要代價且訓(xùn)練階段存在多維約束。 （3）構(gòu)造多維約束條件代價敏感分類器，并將多個單一多維約束分類器綜合進(jìn)行集成學(xué)習(xí)。 通過若干個單一多維約束分類器進(jìn)行集成學(xué)習(xí)，然后將這些多維約束分類器進(jìn)行結(jié)合，得到比單個多維約束分類器更強(qiáng)泛化能力的多維約束集成分類器。最后通過真實數(shù)據(jù)集的實驗證明所建模型的可行性。 本論文的主要創(chuàng)新點如下： （1）在同一分類器中同時考慮了測試代價約束、等待