不平衡數(shù)據(jù)的最優(yōu)分類閾值研究.pdf

1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨(dú)立完成的研究成果。本人在論文寫作中參考其他個(gè)人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動(dòng)規(guī)范(試行)》。另外，該學(xué)位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費(fèi)或?qū)嶒?yàn)室的資助，在()實(shí)驗(yàn)室完成。(請(qǐng)?jiān)谝陨侠ㄌ?hào)內(nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒?yàn)室名稱，未有此項(xiàng)聲明內(nèi)容的，可以不作特別聲明。)聲明人(簽名)：懈加f餌r

2、月功日摘要在機(jī)器學(xué)習(xí)領(lǐng)域中，當(dāng)要分類的數(shù)據(jù)集類別分布差別較大時(shí)，就稱為不平衡數(shù)據(jù)分類。它是目前在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域里一個(gè)研究熱點(diǎn)。不平衡分類問題在現(xiàn)實(shí)生活中經(jīng)常出現(xiàn)，而傳統(tǒng)的分類器在解決這類問題時(shí)，會(huì)出現(xiàn)性能大幅下降的情況。從本世紀(jì)初開始，國內(nèi)外學(xué)者對(duì)不平衡分類問題進(jìn)行了深入的研究，并發(fā)表了眾多相關(guān)的研究成果。不過對(duì)該問題還是存在許多可以研究的方面。在本文中，首先介紹了在數(shù)據(jù)分布不平衡場(chǎng)景下，分類的一些特性，簡(jiǎn)單地回顧了數(shù)據(jù)分布不平

3、衡在機(jī)器學(xué)習(xí)及現(xiàn)實(shí)應(yīng)用中所造成的一系列問題，介紹國內(nèi)外學(xué)者對(duì)該問題的研究現(xiàn)狀。深入地討論數(shù)據(jù)的內(nèi)在特征，在數(shù)據(jù)不平衡分類時(shí)引起的一系列問題。這些內(nèi)在特征包括：小析取項(xiàng)問題；訓(xùn)練集密度不足問題；類別覆蓋問題；噪音數(shù)據(jù)；數(shù)據(jù)分布偏移問題，同時(shí)給出了對(duì)應(yīng)的處理方法和建議?？偨Y(jié)目前解決數(shù)據(jù)分布不平衡分類問題的主要方法，特別地，將介紹數(shù)據(jù)預(yù)處理，代價(jià)敏感學(xué)習(xí)和集成技術(shù)三種方法。接著深入的介紹用來衡量不平衡分類性能的指標(biāo)，探討不同應(yīng)用場(chǎng)景下，需要使

4、用的合適指標(biāo)。特別地，將分析ROC曲線下面積(AuC)，單獨(dú)做為度量分類器性能標(biāo)準(zhǔn)的不足之處：ROC只能衡量模型對(duì)樣本排序的好壞，為取得好的分類結(jié)果，還需找到一個(gè)合適的劃分閾值。最后提出了一個(gè)用來尋找最優(yōu)分類閾值的框架：根據(jù)類別的錯(cuò)分代價(jià)是否相同，分別選取了F值和整體錯(cuò)分代價(jià)作為分類結(jié)果的衡量指標(biāo)。先尋找訓(xùn)練集的最優(yōu)分類閾值，然后用這個(gè)最優(yōu)閾值去指導(dǎo)測(cè)試集或未知數(shù)據(jù)集的分類。將該框架應(yīng)用到蛋白質(zhì)的遠(yuǎn)程同源檢測(cè)問題中。實(shí)驗(yàn)表明本文提出的框