基于LDA模型的文本分類研究.pdf

1、文本自動分類是信息檢索與數(shù)據(jù)挖掘領域的研究熱點與核心技術,近年來得到了廣泛的關注和快速的發(fā)展。它是信息檢索、機器學習和自然語言處理的熱點和關鍵技術之一。近幾年,人們開始將機器學習的方法應用到文本自動分類領域。文本分類系統(tǒng)主要包括文本表示、預處理、特征降維、分類方法和效果評估5個部分。本文應用LDA(Latent Dirichlet Allocation)概率增長模型,對文檔集進行主題建模?？朔瞬捎锰卣鞒槿》椒◣淼姆诸愋阅苁軗p問題,避

2、免了使用特征濾取方法存在的未考慮詞與詞之間語義聯(lián)系的問題。本文主要工作及創(chuàng)新點在于：1.針對傳統(tǒng)的降維算法在處理高維和大規(guī)模的文本分類時存在的局限性,本文提出了一種基于LDA模型的文本分類方法。在判別模型SVM框架中,應用LDA (Latent Dirichlet Allocation)概率增長模型,對文檔集進行主題建模。利用MCMC (Markov chain Monte Carlo)中的Gibbs抽樣進行推理,間接計算模型參數(shù),獲取

3、文本在主題集上的概率分布。在文檔集的隱含主題一文本矩陣上訓練SVM(Support Vector Machine),構(gòu)造文本分類器。在中英文語料庫上進行分類實驗,驗證基于LDA模型的分類方法的有效性和優(yōu)越性。2.針對模型參數(shù)學習過程對主題數(shù)目的指定和主題分布初始值非常敏感的問題。本文參考基于密度的聚類算法DBSCAN中計算樣本密度的思想來度量主題之間的相關性,提出了基于DBSCAN的最優(yōu)主題數(shù)選擇算法。在本文搭建的自動文本分類系統(tǒng)的實驗