文本分類新方法的研究與應用.pdf

1、網(wǎng)絡技術的快速發(fā)展使得互聯(lián)網(wǎng)上的信息呈現(xiàn)爆炸式的增長。為了有效地利用和管理海量信息，基于內(nèi)容的信息檢索和數(shù)據(jù)挖掘逐漸成為備受關注的領域。文本分類技術TC(TextCategorization)是信息檢索和數(shù)據(jù)挖掘的核心內(nèi)容。其中基于機器學習的文本分類方法被認為在分類精度和靈活性上達到了較為滿意的效果，但是它仍然存在著譬如非線性、數(shù)據(jù)集偏斜、標注瓶頸、多層分類、算法的擴展性及Web網(wǎng)頁分類等問題。 本文在數(shù)據(jù)集不完整和類別關系復雜

2、的情況下進行了一系列的研究，主要包括文本表示，特征提取，特征選擇，以及文本分類算法等問題。重點的目標就是通過研究這些問題找到如何在不完整樣本集下提高文本分類精度的方法，以及如何在樣本集中類別無法確定的情況下，發(fā)現(xiàn)新的類別，避免錯分，借此提高文本分類效果。 現(xiàn)實世界中的數(shù)據(jù)往往是不完整的，因此對于不完整數(shù)據(jù)集的文本分類的研究，經(jīng)常采用的方法是利用樸素貝葉斯分類模型與EM算法相結合的辦法來得到最終的分類器。但由于樸素貝葉斯分類器并E

3、M算法對初始數(shù)據(jù)值有很大的依賴性，特別是當樣本集中的無標記文本即缺失數(shù)據(jù)數(shù)量所占比重較大時，分類器的測試精度會受到影響。為了改善文本分類的效果，本文在Bernoulli混合模型和EM算法的基礎上進行了研究。首先通過樸素貝葉斯算法在已標記數(shù)據(jù)的基礎上得到似然函數(shù)參數(shù)估計初始值，然后利用含有權值γ的EM算法和Bernoulli混合模型對分類器的先驗概率模型進行參數(shù)估計，從而得到最終的分類器。實驗結果表明，對于不完整數(shù)據(jù)集而言所提出的方法在準

4、確率和查全率方面要優(yōu)于樸素貝葉斯文本分類及結合了EM算法的樸素貝葉斯分類。 在以上方法基礎上對不完整數(shù)據(jù)集對于文本分類的影響進行了進一步的研究。發(fā)現(xiàn)適當?shù)脑跍y試集中加入未標記數(shù)據(jù)樣本是在現(xiàn)實世界中是需要經(jīng)常面對的問題，本文在這方面做了相關的工作，將網(wǎng)頁分類看成文本分類的一種特殊情況，同時考慮了網(wǎng)頁結構對文本分類造成的影響，重點研究了文本相似度算法在這類問題上的應用，簡單的文本相似度算法無法區(qū)分出有類別文本和無類別文本的區(qū)別，本文