基于粗糙集的中文文本分類算法研究及應用.pdf

1、隨著網(wǎng)絡技術的迅速發(fā)展，網(wǎng)絡上的信息量急劇增加。如何對這些在線文檔進行有效的組織和高效的管理，成為人們迫切需要解決的問題。文本分類也成為解決該問題的一項關鍵技術。文本分類是文本挖掘的一個重要分支，因其獨特的知識發(fā)現(xiàn)功能而得到較為深入的研究。文本分類技術已經(jīng)在信息過濾、檢索技術、數(shù)字圖書館服務等領域得到了廣泛的應用，具有廣泛的應用前景。
　　 粗糙集理論能處理模糊和不確定性知識，它不要任何先驗信息，就可以有效的分析和處理不完備、不

2、一致、不精確的數(shù)據(jù)，使知識可以用數(shù)學的方法來分析處理，并從中發(fā)現(xiàn)隱含的知識，揭示潛在的規(guī)律。其主要思想是在不影響分類精度的前提下降低特征向量的維數(shù)，得到最簡的分類規(guī)則。
　　 本文主要對基于粗糙集理論的文本自動分類算法進行了系統(tǒng)的研究，以及將該算法應用在公安情報分類系統(tǒng)中。具體的研究內容概括如下：
　　 (1)介紹文本分類的相關技術，并對一些常用文本分類算法進行了詳細的分析和比較。
　　 (2)針對傳統(tǒng)TFIDF

3、方法將文檔集作為整體來處理，并沒有考慮到特征項在類間和類內的分布情況的不足。提出了一種結合信息熵的TFIDF文本特征權重計算的改進方法。該方法采用特征項在類問和類內信息分布熵來調整TFIDF方法，從而使特征項的權重更加合理。
　　 (3)針對傳統(tǒng)基于頻率閾值過濾的特征選擇方法會導致有效信息丟失，影響分類精度的不足，提出了一種新的基于粗糙集理論的屬性約簡文本自動分類算法。該方法首先對加權后的特征屬性進行離散化，建立一個決策表；然后