基于LDA的潛在語義空間分析及Web文檔聚類的研究與實現.pdf

1、隨著Internet和搜索引擎技術的發(fā)展，Web文檔聚類已成為提高Web搜索和個性化服務的一個重要支撐技術，Web文檔的表示則是影響Web文檔聚類的結果的重要因素之一。目前Web文檔聚類中由于文檔表示模型及聚類算法的設計與實現等方面的問題，導致聚類質量不高，因而不能很好地滿足用戶需求。
　　本文針對Web文檔的表示模型及Web文檔聚類過程兩方面進行研究，提出基于LDA的潛在語義空間分析及Web文檔聚類方法。首先應用LDA模型進行文

2、檔的潛在語義分析，將語義分布空間劃分成低頻、中頻、高頻語義區(qū)，以低頻語義區(qū)的語義進行Web游離文檔檢測，以中、高頻語義區(qū)的語義作為文檔特征進行文檔聚類。在此基礎上，采用文檔類別與語義互作用機制對聚類結果進行修正。
　　與相關工作比較，本文不僅應用LDA模型表示文檔，而且進行了深入的語義分布區(qū)域劃分，并將分析結果應用于Web文檔聚類。實驗表明，本文提出的基于LDA的潛在語義區(qū)劃分及Web文檔聚類算法在聚類準確率較以詞為特征以及采用P