基于維基百科的搜索引擎檢索結果聚類.pdf

1、搜索引擎的廣泛應用為人們充分利用Web豐富的資源提供了重要保證，然而，Web網(wǎng)頁數(shù)量巨大以及查詢的信息不容易用簡短詞組準確表達，導致一次搜索返回結果過多，如何有效組織這些結果對搜索引擎來說是一個巨大挑戰(zhàn)。目前大多數(shù)搜索引擎對于用戶查詢，僅僅通過關鍵詞匹配、排序，輸出一個長且無層次的列表，然而這個列表往往達不到預期目標，因為用戶往往需要翻閱多頁才能找到期望的結果，尤其是對于多義詞查詢。如果能將這些檢索結果根據(jù)相應的語義分類別組織在一起，將

2、能更好的幫助用戶導航瀏覽，提高用戶的瀏覽效率。與傳統(tǒng)的基于詞頻和統(tǒng)計的檢索結果聚類方法不同， 本文提出了一種基于維基百科知識的聚類算法，實現(xiàn)了對檢索結果的在線高效準確聚類。該算法利用從目前最大的在線知識庫—維基百科中挖掘出的詞語間語義關系，聚類后形成更為緊湊的簇、描述性更強的簇標簽以及層次結構更合理的樹型結構。首先描述了一種全新的維基知識的挖掘方法。通過分析維基百科的組織結構尤其是超鏈接關系，結合機器學習方法、啟發(fā)式規(guī)則和概率統(tǒng)

3、計方法，抽象出一個覆蓋面全、準確率高的維基辭典，并提出了短語間語義相似度、短語導向性等指標。該知識庫在關鍵詞抽取和文本分類上的簡單應用也取得了非常顯著的效果。其次介紹了基于維基百科的搜索引擎檢索結果聚類的基本思想，突出闡述了特征項的抽取方法和基類合并規(guī)則。在特征項抽取過程中，在短語層次上采用全二分最大長度匹配快速識別主要詞匯，對同義詞進行歸并，對多義詞根據(jù)上下文語境和語義信息的線性融合進行歧義消解。采用倒排索引的方式組織基簇，在基簇的基