基于LDA與SVM的文本分類研究.pdf

1、文本自動分類是信息檢索與數(shù)據(jù)挖掘領(lǐng)域的研究熱點，近年來得到了廣泛的關(guān)注和快速的發(fā)展，它是機器學習和自然語言處理的關(guān)鍵技術(shù)之一。近幾年，人們開始將機器學習的方法應用到文本自動分類領(lǐng)域，它在分類效果和靈活性上都比傳統(tǒng)的文本分類模式有所發(fā)展，成為相關(guān)領(lǐng)域研究和應用的范例。
　　特征選擇和分類算法是文本分類中兩項關(guān)鍵的技術(shù)。在文本分類中，特征空間維數(shù)過高引起“維數(shù)災難”，傳統(tǒng)特征選擇方法在處理文本數(shù)據(jù)時，特征降維效果不佳，且易忽視詞間語義

2、關(guān)系，直接影響分類性能。實際文本數(shù)據(jù)具有類別和樣本數(shù)目多、噪音多、各類別樣本數(shù)目不均衡等特點，傳統(tǒng)分類算法在分類精度和速度上不能兼顧。
　　本文對文本分類及其相關(guān)技術(shù)進行研究，從降低文本數(shù)據(jù)的維數(shù)，提高分類性能出發(fā)，提出了相應的解決或改進的方法。本文的研究工作主要包括以下幾個方面：
　?。?）在文本預處理階段加入詞頻和文檔頻度過濾，在經(jīng)典的LDA特征選擇算法基礎(chǔ)上融入類別信息，發(fā)掘不同類別文檔內(nèi)部潛在主題的差異性，采取雙重特

3、征選擇方法以期選擇對分類最有意義的特征詞。
　?。?）針對大規(guī)模文本數(shù)據(jù)的特點，在各類別訓練數(shù)據(jù)集上分別用LDA模型進行主題建模，利用Gibbs抽樣參數(shù)推理，間接計算模型參數(shù)，把每個文本表示為固定隱含主題集上的概率分布，從而獲得文本集的隱含主題-文本矩陣，簡化了文本數(shù)據(jù)，取得了顯著降維效果，縮短了分類算法的訓練時間。
　?。?）在上述工作的基礎(chǔ)上應用SVM分類算法，將LDA良好的文本特征表示性能和SVM強大的分類能力結(jié)合起來