不平衡數(shù)據(jù)的最優(yōu)分類閾值研究.pdf

1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨立完成的研究成果。本人在論文寫作中參考其他個人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動規(guī)范(試行)》。另外，該學(xué)位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費或?qū)嶒炇业馁Y助，在()實驗室完成。(請在以上括號內(nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒炇颐Q，未有此項聲明內(nèi)容的，可以不作特別聲明。)聲明人(簽名)：懈加f餌r

2、月功日摘要在機器學(xué)習(xí)領(lǐng)域中，當(dāng)要分類的數(shù)據(jù)集類別分布差別較大時，就稱為不平衡數(shù)據(jù)分類。它是目前在機器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域里一個研究熱點。不平衡分類問題在現(xiàn)實生活中經(jīng)常出現(xiàn)，而傳統(tǒng)的分類器在解決這類問題時，會出現(xiàn)性能大幅下降的情況。從本世紀(jì)初開始，國內(nèi)外學(xué)者對不平衡分類問題進(jìn)行了深入的研究，并發(fā)表了眾多相關(guān)的研究成果。不過對該問題還是存在許多可以研究的方面。在本文中，首先介紹了在數(shù)據(jù)分布不平衡場景下，分類的一些特性，簡單地回顧了數(shù)據(jù)分布不平

3、衡在機器學(xué)習(xí)及現(xiàn)實應(yīng)用中所造成的一系列問題，介紹國內(nèi)外學(xué)者對該問題的研究現(xiàn)狀。深入地討論數(shù)據(jù)的內(nèi)在特征，在數(shù)據(jù)不平衡分類時引起的一系列問題。這些內(nèi)在特征包括：小析取項問題；訓(xùn)練集密度不足問題；類別覆蓋問題；噪音數(shù)據(jù)；數(shù)據(jù)分布偏移問題，同時給出了對應(yīng)的處理方法和建議?？偨Y(jié)目前解決數(shù)據(jù)分布不平衡分類問題的主要方法，特別地，將介紹數(shù)據(jù)預(yù)處理，代價敏感學(xué)習(xí)和集成技術(shù)三種方法。接著深入的介紹用來衡量不平衡分類性能的指標(biāo)，探討不同應(yīng)用場景下，需要使

4、用的合適指標(biāo)。特別地，將分析ROC曲線下面積(AuC)，單獨做為度量分類器性能標(biāo)準(zhǔn)的不足之處：ROC只能衡量模型對樣本排序的好壞，為取得好的分類結(jié)果，還需找到一個合適的劃分閾值。最后提出了一個用來尋找最優(yōu)分類閾值的框架：根據(jù)類別的錯分代價是否相同，分別選取了F值和整體錯分代價作為分類結(jié)果的衡量指標(biāo)。先尋找訓(xùn)練集的最優(yōu)分類閾值，然后用這個最優(yōu)閾值去指導(dǎo)測試集或未知數(shù)據(jù)集的分類。將該框架應(yīng)用到蛋白質(zhì)的遠(yuǎn)程同源檢測問題中。實驗表明本文提出的框