基于粗糙集的中文文本分類算法研究及應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)上的信息量急劇增加。如何對這些在線文檔進(jìn)行有效的組織和高效的管理，成為人們迫切需要解決的問題。文本分類也成為解決該問題的一項(xiàng)關(guān)鍵技術(shù)。文本分類是文本挖掘的一個重要分支，因其獨(dú)特的知識發(fā)現(xiàn)功能而得到較為深入的研究。文本分類技術(shù)已經(jīng)在信息過濾、檢索技術(shù)、數(shù)字圖書館服務(wù)等領(lǐng)域得到了廣泛的應(yīng)用，具有廣泛的應(yīng)用前景。
　　 粗糙集理論能處理模糊和不確定性知識，它不要任何先驗(yàn)信息，就可以有效的分析和處理不完備、不

2、一致、不精確的數(shù)據(jù)，使知識可以用數(shù)學(xué)的方法來分析處理，并從中發(fā)現(xiàn)隱含的知識，揭示潛在的規(guī)律。其主要思想是在不影響分類精度的前提下降低特征向量的維數(shù)，得到最簡的分類規(guī)則。
　　 本文主要對基于粗糙集理論的文本自動分類算法進(jìn)行了系統(tǒng)的研究，以及將該算法應(yīng)用在公安情報分類系統(tǒng)中。具體的研究內(nèi)容概括如下：
　　 (1)介紹文本分類的相關(guān)技術(shù)，并對一些常用文本分類算法進(jìn)行了詳細(xì)的分析和比較。
　　 (2)針對傳統(tǒng)TFIDF

3、方法將文檔集作為整體來處理，并沒有考慮到特征項(xiàng)在類間和類內(nèi)的分布情況的不足。提出了一種結(jié)合信息熵的TFIDF文本特征權(quán)重計(jì)算的改進(jìn)方法。該方法采用特征項(xiàng)在類問和類內(nèi)信息分布熵來調(diào)整TFIDF方法，從而使特征項(xiàng)的權(quán)重更加合理。
　　 (3)針對傳統(tǒng)基于頻率閾值過濾的特征選擇方法會導(dǎo)致有效信息丟失，影響分類精度的不足，提出了一種新的基于粗糙集理論的屬性約簡文本自動分類算法。該方法首先對加權(quán)后的特征屬性進(jìn)行離散化，建立一個決策表；然后