文本分類系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著計算機的普及以及互聯(lián)網(wǎng)的不斷發(fā)展，越來越多的電子文檔堆積成了海量的數(shù)據(jù)，如何對這些海量數(shù)據(jù)進行管理以為用戶快速的檢索信息提供方便成為數(shù)據(jù)挖掘研究的一個核心。文本分類技術(shù)針對這個問題，提出了一系列解決方案。文本分類是一項重要的智能信息處理技術(shù)，在信息過濾、信息檢索、文本數(shù)據(jù)庫和數(shù)字圖書館等方面極具應(yīng)用價值。本文介紹了文本分類技術(shù)及其相關(guān)算法，利用軟件工程的思想設(shè)計并實現(xiàn)了一個文本分類系統(tǒng)。系統(tǒng)分為六個模塊：(1)文本預(yù)處理模塊，針對文

2、檔進行分詞，停用詞過濾；(2)詞頻統(tǒng)計模塊，按照各種分類算法以及特征選擇算法的特點統(tǒng)計文檔中特征詞的出現(xiàn)頻率；(3)特征選擇模塊，實現(xiàn)了信息增益(IG)、互信息(M1)、交叉熵(CE)、X～2統(tǒng)計四種特征選擇算法；(4)權(quán)重計算模塊，實現(xiàn)TF、TF-IDF算法；(5)分類器算法模塊，實現(xiàn)了樸素貝葉斯(NB)和K近鄰文本分類(KNN)算法；(6)分類器評價模塊，實現(xiàn)了對分類器從查全率、查準率和F1值三個方面進行評價的機制。結(jié)合軟件測試理論