基于LDA模型與SVM的文本分類研究與實現(xiàn).pdf

1、信息技術(shù)正在不停地飛速發(fā)展，它為我們的生活帶來的極大挑戰(zhàn)是信息量的急速增加，在我們生活中不僅有大量可以利用的信息資源，并且存在很多無用的干擾性信息，如何對這繁雜的信息數(shù)據(jù)進行管理，并獲取其中有用的信息數(shù)據(jù)是一個重要的研究熱點。信息數(shù)據(jù)的載體主要為文本，文本挖掘作為數(shù)據(jù)分析處理的新領(lǐng)域逐漸興起。近幾年來，研究者們已將機器學(xué)習(xí)領(lǐng)域的算法應(yīng)用到文本自動分類的領(lǐng)域，信息處理的自動分類工具可以實現(xiàn)對信息高效靈活地整理，但在分類的效率和質(zhì)量上還有不

2、斷改進的空間。
　　在文本分類中影響分類效果和效率的重要環(huán)節(jié)為特征詞的提取和訓(xùn)練分類的算法。文本分類在預(yù)處理階段通過選擇特征詞來構(gòu)造特征空間，如果特征空間的維數(shù)過高或分類算法較差都將會對分類的性能與效果產(chǎn)生影響。由于每個類別的文本數(shù)據(jù)往往包含大量樣本，各類別的樣本數(shù)目也不均衡，而且文本特征詞語相互之間的語義關(guān)系通常會被忽視，因此，在分類的速率和精度方面?zhèn)鹘y(tǒng)分類方式難以兼顧。
　　本文對文本分類理論及其相關(guān)的技術(shù)進行了研究，從

3、文本數(shù)據(jù)的降維和分類性能的提升出發(fā)，提出了針對性的解決或改進的方法。針對在大規(guī)模文本中信息數(shù)據(jù)的詞項數(shù)量極多的特點，用LDA模型在各種類別的訓(xùn)練數(shù)據(jù)集上進行主題建模獲取詞項，從而簡化文本數(shù)據(jù)的規(guī)模來提升降維效果，而支持向量機在特征相關(guān)性和稀疏性方面敏感度低，處理高維數(shù)的數(shù)據(jù)有較高的優(yōu)勢。在上述的基礎(chǔ)上進行兩者的結(jié)合，用LDA良好的文本特征提取的性能和SVM分類算法的強大分類能力進行分類。通過實驗進行分析和總結(jié)，結(jié)果表明兩者的結(jié)合能使文本