文本自動分類的研究與實現(xiàn).pdf

1、隨著Internet與Intranet的迅猛發(fā)展，電子文本的信息量呈指數(shù)增長，人們越來越渴望擁有能幫助其查找、過濾以及管理如此海量信息的工具，文本自動分類就是這樣的工具之一。利用文本自動分類，文本信息可以自動地被分配到一個或多個已經(jīng)定義好的類別中，這在很大程度上就解決了信息雜亂的問題，方便了用戶快速、準確、全面地查找信息。而且作為信息過濾、信息檢索、搜索引擎、數(shù)字化圖書館等領域的技術基礎，文本自動分類有著廣泛的應用前景。 本文對

2、文本自動分類中的幾項關鍵技術，如文本預處理、文本表示模型、特征選擇、分類算法等進行了研究。從提高系統(tǒng)分類性能的角度出發(fā)，提出了幾種有效的解決方法和改進技術。本文的主要研究內(nèi)容和創(chuàng)新工作包括以下幾點： （1）特征選擇方法 特征選擇就是在不降低分類性能的前提下，提取能夠區(qū)分不同類別的特征子集合，從而達到刪除冗余特征項，縮減文本特征空間維數(shù)，減輕分類器學習負擔的目的。目前采用較多的特征選擇方法有文檔頻次、信息增益、χ2統(tǒng)計、互

3、信息等，本文從這些方法的基本原理和分類性能入手，著重分析了χ2統(tǒng)計和互信息這兩種特征選擇方法的優(yōu)缺點以及它們之間存在的互補性，并在此基礎上提出了一種聯(lián)合的特征選擇方法。在中文文本分類實驗中，該方法取得了較高的微平均查全率和微平均查準率。 （2）基于廣義向量空間模型的文本自動分類的研究 目前，很多分類方法都是基于傳統(tǒng)向量空間模型和布爾模型的。然而在這兩種文本表示模型中，特征項之間都被假設為是相互獨立的，因此在該前提下討論文

4、本分類的問題顯然不能令人滿意。在廣義向量空間模型中，不僅特征項之間相互獨立的假設被剔除了，而且在該模型中文本能更加準確的表示出來，因此本文在文本自動分類中引入了廣義向量空間模型，并在此基礎上提出了基于廣義向量空間模型的KNN和TFIDF文本分類方法。 （3）對廣義向量空間模型下布爾交運算的修正 本文在對基于廣義向量空間模型的文本自動分類問題進行研究時，發(fā)現(xiàn)廣義向量空間模型下的布爾運算定律存在著不能滿足吸收律、德．摩根法則