文本分類的屬性選擇與多標(biāo)記轉(zhuǎn)換方法研究.pdf

1、隨著信息技術(shù)的迅速發(fā)展和普及,文本信息呈現(xiàn)爆炸式增長趨勢.海量的文本信息使人們迫切需要文本分類技術(shù)來節(jié)約人力與財(cái)力,提高分類效率.因此,文本分類技術(shù)成為一項(xiàng)日趨重要的研究課題.本文的研究目的是提升文本分類的效果.為了實(shí)現(xiàn)這個(gè)研究目的,本文從屬性選擇及多標(biāo)記轉(zhuǎn)換方法兩個(gè)方面展開了深入的研究,取得了一些研究成果.
　　 首先,本文對文本分類問題所涉及到的分詞處理、特征表示、特征提取、分類算法、性能評價(jià)等5個(gè)相關(guān)步驟進(jìn)行了技術(shù)上的綜述

2、,并通過系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)闡述了文本分類的整個(gè)過程.在此研究基礎(chǔ)上,對屬性選擇和多標(biāo)記指派模型分別展開了深入的研究.
　　 其次,對于屬性選擇問題,通過研究和實(shí)驗(yàn)指出了現(xiàn)有屬性選擇算法的不足,利用限制文檔分布率過濾了高頻噪聲詞,并提出了將詞頻與文檔頻率相結(jié)合的綜合評價(jià)策略.基于文檔頻率、信息增益、互信息、x2估計(jì)法等屬性選擇方法,利用所提出的綜合評價(jià)策略進(jìn)行了改進(jìn),通過對比實(shí)驗(yàn)分別驗(yàn)證了使用所改進(jìn)的4種屬性選擇方法比原始方法可以獲得

3、更好的分類效果.
　　 第三,多標(biāo)記分類是文本分類領(lǐng)域中重要與復(fù)雜的問題.本文深入研究了多標(biāo)記文本分類建模和學(xué)習(xí)方式,并對各種多標(biāo)記轉(zhuǎn)換方法進(jìn)行了分析與比較,針對它們存在的問題,提出了一種基于標(biāo)記分布的多標(biāo)記指派模型.其不僅保證了指派模型不丟棄有價(jià)值的訓(xùn)練樣本,而且能夠較好地平衡各個(gè)類別樣本的權(quán)重.通過對比實(shí)驗(yàn),驗(yàn)證了利用改進(jìn)后的多標(biāo)記指派模型比目前已有的5種指派模型可以獲得更好的分類效果.
　　 實(shí)驗(yàn)表明,利用本文提出