搜索引擎中文檔聚類方法研究.pdf

1、隨著互聯網的發(fā)展，Web 上的信息浩如煙海，搜索引擎作為互聯網中的基礎應用已經成為人們獲取信息的重要工具。為了能給用戶提供更好的搜索服務，近年來，數據挖掘和機器學習技術被廣泛用來改善搜索結果的質量。其中，聚類技術在無任何先驗知識的情況下，能將大規(guī)模數據按照數據的相似性劃分成用戶可迅速理解的簇(cluster)，從而使用戶更快地了解大量文檔中所包含的內容。因此，聚類技術成為搜索引擎中不可或缺的部分和研究熱點。
　　 在搜索引擎中，

2、存在著兩類數據：一是搜索引擎從互聯網抓取的文檔即用戶搜索的對象，包括普通文本網頁、XML 文檔和包括Flash、AJAX 在內的超鏈接信息較少的文檔；二是搜索日志即用戶使用搜索引擎時產生的行為記錄(userbehavior data)，搜索日志提供了一個潛在的知識庫來輔助文檔聚類分析。不同的文檔有不同的特點，不同的應用對聚類分析有不同的要求。因此，數據的表示、數據相似度的定義，以及聚類分組算法是重要研究課題，具有重要的理論和實際意義。<

3、br>　　 對于文本文檔(text document),現有的文本聚類算法忽略了文檔是有序的單詞序列而將文檔視為一系列離散單詞的集合?；趲Т翱诩s束的關聯規(guī)則的聚類算法(FICW)首先用滑動窗口對單詞的位置進行約束，挖掘出文本集合中的頻繁項目集，然后將得到的頻繁項目集用于文本聚類。實驗表明，FICW 產生了質量更高的聚類結果，具有更好的效率和伸縮性。
　　 XML 文檔是Web 上的重要組成部分，基于公共路徑的XML 文檔相似

4、度定義因為計算開銷小而被應用于XML 聚類，卻忽略了公共子路徑在XML 樹上的分布信息。一種基于啟發(fā)性策略的合并編輯距離(MED)，利用將兩棵XML 樹壓縮為它們的公共子樹所需的編輯代價來捕獲公共子路徑的分布情況。實驗表明，MED 成功表示了XML 樹間公共子樹的分布情況，基于MED的相似度定義較基于路徑的相似度定義更好地衡量了XML 文檔間的相似程度。另一方面，為解決XML 文檔隨意命名標簽導致的度量XML 文檔相似度困難的問題，根據

5、XML 描述同類對象時，所使用的數據在數據類型的構成上具有一致性的特點，一種基于數據類型樹的相似度評估標準被應用于XML 文檔聚類中。實驗驗證了該相似度定義的有效性，得到了較高質量的聚類結果。
　　 搜索日志記錄的用戶點擊情況反映了網頁中哪些主題才是真正引起用戶興趣的主題。因此利用搜索日志從用戶的角度對網頁進行聚類分析成為一種有效的方法?；谟脩粜袨榈幕旌暇W頁表示模型首先從搜索引擎的搜索日志中抽取訪問過給定網頁的查詢，將這些查詢

6、作為描述該網頁的主題詞，然后以主題詞為中心從網頁中抽取內容生成描述網頁的虛擬文檔以及相應的向量表示。實驗結果表明，該混合表示模型能有效地改善網頁分類和聚類的質量。
　　 Web 上的AJAX 應用和PowerPoint 文件等弱鏈接文檔由于缺乏足夠的超鏈接信息，導致搜索該類文檔時，排序結果不佳。針對該問題，基于聚類的弱鏈接文檔排序算法利用聚類算法從高質量的網頁搜索結果中提取與查詢相關的主題，并根據主題的相關網頁的排名確定該主題的