基于貝葉斯模型的文檔分類及相關技術研究.pdf

1、隨著Internet的迅猛發(fā)展和電子文檔信息的不斷豐富，文檔自動分類日益成為信息檢索和自然語言處理領域的研究熱點?；谪惾~斯模型的文檔分類具有簡單、直觀、性能穩(wěn)定的優(yōu)點，但面對復雜的文檔分類問題，仍然存在許多急待解決的問題。本文將針對貝葉斯文檔分類的幾個關鍵問題進行深入研究和探索，具體內(nèi)容和創(chuàng)新成果概括如下： (1) 對以樸素貝葉斯模型、半樸素貝葉斯模型、樹形增強樸素貝葉斯模型為代表的廣義樸素貝葉斯模型在網(wǎng)絡結(jié)構(gòu)、分類原理、學習

2、方法等方面的異同進行理論分析，證明通過有效的貝葉斯結(jié)構(gòu)改進，可以提高模型的文檔分類性能。這為進一步提升貝葉斯模型提供了理論依據(jù)。 (2) 提出一種基于關聯(lián)特征擴展的特征選擇算法。特征選擇對文檔分類的性能影響很大，即便是同樣的分類器在不同的特征集上的性能也會有很大的差異。論文通過對現(xiàn)有特征選擇算法的分析，總結(jié)出現(xiàn)有特征選擇算法的三個問題：特征空間不完備；特征集中信息冗余明顯；特征選擇的效率不高。針對這些問題，論文提出先利用關聯(lián)特征

3、對原始特征集進行擴展，再利用改進的相關性分析測度和啟發(fā)式規(guī)則進行冗余檢測和特征選擇的方法。由于算法避免了對所有特征對之間的相關性分析，因此具有O(NlogN)的算法時間復雜度，同時通過冗余分析和排除，增加了特征集的信息量。 (3) 提出一種貝葉斯?jié)撛谡Z義模型。與傳統(tǒng)貝葉斯模型相比，該模型最大的特點在于不僅考慮了詞條在文檔中的統(tǒng)計特征，而且對每個詞條在不同上下文中的語義進行了辨析。通過將概念特征引入到貝葉斯模型中，建立起傳統(tǒng)特征與

4、概念，概念與類別之間的映射關系，借助這種映射關系可以更好的利用詞頻和詞義進行文檔分類。對模型訓練時面臨的數(shù)據(jù)缺失和效率問題，論文采用了改進的 EM 算法和特征優(yōu)化、概念選擇等預處理，提高了潛在語義模型的分類精度和學習效率。 (4) 提出一種新的半監(jiān)督語義分類模型。模型以語義支持向量機和貝葉斯?jié)撛谡Z義模型為基礎，利用大量無標記樣本和協(xié)同訓練算法Co-models，對模型在少量標記樣本集中的性能加以改進。與傳統(tǒng)協(xié)同算法Co-trai

5、ning不同，算法Co-models不對文檔集有任何依賴和限制，而是利用不同模型間的固有差異，反復對無標記樣本進行分類和樣本集擴充，并借此逐步提高協(xié)同模型對無標記樣本的分類精度。通過在文檔集Reuters-21578和 20NG 上的實驗，證明該模型在少量標記樣本集中同樣可以取得較好的泛化性能。 (5) 提出一種語言獨立的貝葉斯集成分類模型?，F(xiàn)有文檔分類模型一般只針對特定語言的文檔，缺乏對多種語言的適應能力。本文提出將N-Gra