文本分類(lèi)中不平衡數(shù)據(jù)的處理.pdf

1、　　隨著計(jì)算機(jī)軟硬件技術(shù)的飛速發(fā)展，計(jì)算機(jī)的各種應(yīng)用已經(jīng)深入到我們?nèi)粘Ｉ畹拿恳粋€(gè)角落.生活中大量的電子文本使得人們難以對(duì)其進(jìn)行整理，因?yàn)閭鹘y(tǒng)的信息檢索方法只針對(duì)于以紙張存儲(chǔ)的信息，對(duì)電子文本的存儲(chǔ)格式則無(wú)用武之地.于是學(xué)者開(kāi)始運(yùn)用各種機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘的方法對(duì)電子文本進(jìn)行處理，以便人們對(duì)其進(jìn)行檢索，從中搜尋有用信息.在各種相關(guān)的研究中，文本分類(lèi)(TextCategorization)是學(xué)者研究的一個(gè)熱點(diǎn).　　文本分類(lèi)的方法很多，諸如

2、樸素貝葉斯分類(lèi)方法、決策樹(shù)分類(lèi)方法、基于實(shí)例的分類(lèi)方法、支持向量機(jī)分類(lèi)方法等.評(píng)價(jià)分類(lèi)方法的好壞會(huì)使用分準(zhǔn)率(Precision)、分全率(Recall)、F1值或是使用它們的均值.在以往的大部分文本分類(lèi)論文中，學(xué)者傾向于使用F1的微觀均值.使用F1微觀均值可以從總體上綜合評(píng)價(jià)分類(lèi)器的分類(lèi)效果，但是掩蓋了少數(shù)類(lèi)分類(lèi)精度低的問(wèn)題.因?yàn)樵谏贁?shù)類(lèi)只占很小比重的文本分類(lèi)應(yīng)用中，F(xiàn)1微觀均值與多數(shù)類(lèi)的F1值只會(huì)有很小的差別，而多數(shù)類(lèi)的F1值往往都