文本自動(dòng)分類的研究與實(shí)現(xiàn).pdf

1、隨著Internet與Intranet的迅猛發(fā)展，電子文本的信息量呈指數(shù)增長，人們?cè)絹碓娇释麚碛心軒椭洳檎摇⑦^濾以及管理如此海量信息的工具，文本自動(dòng)分類就是這樣的工具之一。利用文本自動(dòng)分類，文本信息可以自動(dòng)地被分配到一個(gè)或多個(gè)已經(jīng)定義好的類別中，這在很大程度上就解決了信息雜亂的問題，方便了用戶快速、準(zhǔn)確、全面地查找信息。而且作為信息過濾、信息檢索、搜索引擎、數(shù)字化圖書館等領(lǐng)域的技術(shù)基礎(chǔ)，文本自動(dòng)分類有著廣泛的應(yīng)用前景。 本文對(duì)

2、文本自動(dòng)分類中的幾項(xiàng)關(guān)鍵技術(shù)，如文本預(yù)處理、文本表示模型、特征選擇、分類算法等進(jìn)行了研究。從提高系統(tǒng)分類性能的角度出發(fā)，提出了幾種有效的解決方法和改進(jìn)技術(shù)。本文的主要研究內(nèi)容和創(chuàng)新工作包括以下幾點(diǎn)： （1）特征選擇方法 特征選擇就是在不降低分類性能的前提下，提取能夠區(qū)分不同類別的特征子集合，從而達(dá)到刪除冗余特征項(xiàng)，縮減文本特征空間維數(shù)，減輕分類器學(xué)習(xí)負(fù)擔(dān)的目的。目前采用較多的特征選擇方法有文檔頻次、信息增益、χ2統(tǒng)計(jì)、互

3、信息等，本文從這些方法的基本原理和分類性能入手，著重分析了χ2統(tǒng)計(jì)和互信息這兩種特征選擇方法的優(yōu)缺點(diǎn)以及它們之間存在的互補(bǔ)性，并在此基礎(chǔ)上提出了一種聯(lián)合的特征選擇方法。在中文文本分類實(shí)驗(yàn)中，該方法取得了較高的微平均查全率和微平均查準(zhǔn)率。 （2）基于廣義向量空間模型的文本自動(dòng)分類的研究 目前，很多分類方法都是基于傳統(tǒng)向量空間模型和布爾模型的。然而在這兩種文本表示模型中，特征項(xiàng)之間都被假設(shè)為是相互獨(dú)立的，因此在該前提下討論文

4、本分類的問題顯然不能令人滿意。在廣義向量空間模型中，不僅特征項(xiàng)之間相互獨(dú)立的假設(shè)被剔除了，而且在該模型中文本能更加準(zhǔn)確的表示出來，因此本文在文本自動(dòng)分類中引入了廣義向量空間模型，并在此基礎(chǔ)上提出了基于廣義向量空間模型的KNN和TFIDF文本分類方法。 （3）對(duì)廣義向量空間模型下布爾交運(yùn)算的修正 本文在對(duì)基于廣義向量空間模型的文本自動(dòng)分類問題進(jìn)行研究時(shí)，發(fā)現(xiàn)廣義向量空間模型下的布爾運(yùn)算定律存在著不能滿足吸收律、德．摩根法則