基于LDA主題模型的TFIDF算法改進及應用.pdf

1、話題發(fā)現(xiàn)中常用的VSM向量空間模型將語言學的文本內(nèi)容轉(zhuǎn)化為數(shù)學上的空間向量坐標，進而把抽象的文本間相似性問題轉(zhuǎn)換為空間向量坐標間的距離問題，直觀且易于理解，但存在的問題是:語義缺失，即忽視了文本中包含的語義信息。
　　本文考慮改進VSM模型中權值算法TFIDF，通過引入LDA主題模型的主題概念來增加特征詞權重的主旨語義信息，以期達到對文本的空間向量坐標增加語義信息（因為坐標值即是權重值）。算法的改進策略分為兩種:首先，通過構建LD

2、A模型，得出概率分布函數(shù)θ和（ψ)值，計算出語義影響力SI，提出SI-TFIDF算法;其次，主題-詞的概率分布（ψ)值中，判定最大的前1/K的（ψ)值對應的特征詞屬于該主題，用以計算主題分布頻率TDF即:語義分布，提出了TFIDF-TDF算法。實驗采用sougou實驗室的精簡版數(shù)據(jù)，實驗結果顯示:兩種改進的算法提取的特征詞用在文本聚類上F值都有明顯的提升，SI-TFIDF算法的提升效果穩(wěn)定，而TFIDF-TDF算法在文本主題數(shù)較多時聚類