Web檢索中的查詢擴展及結果聚類技術研究.pdf

1、近年來隨著互聯(lián)網(wǎng)技術的發(fā)展,Web信息量飛速增長,如何從大量信息中迅速有效地檢索出所需的信息成為了人們關注的問題,搜索引擎也因此走入了人們的生活。如今,搜索引擎的功能日益強大,抓取的信息也日益增多,但用戶卻似乎越來越難檢索到自己所需要的信息。歸結因為主要有兩點,一是由于關鍵詞所能夠反映的信息量是有限的,用戶無法通過簡單的幾個查詢詞準確的表達自己的查詢意圖。二是由于目前典型的搜索引擎返回的是一個處理后的結果列表,內容非常雜亂和龐大,由于缺

2、少反映搜索結果內部關聯(lián)的信息,用戶很難從迅速識別出自己需要的信息。針對以上兩點主要問題,本文主要研究了用戶查詢擴展技術和搜索結果自動聚類技術。
　　 在查詢擴展技術中引入語義計算是一個重要研究方向。現(xiàn)有的解決方法普遍存在引入無關詞、缺少領域知識以及篩選函數(shù)不恰當?shù)膯栴}。本文提出了一種結合了領域知識選取與局部反饋的語義關聯(lián)樹的查詢擴展模型,從語義的角度進行查詢擴展,改進了擴展詞篩選函數(shù)、增加了閾值限定,有效控制了噪音。
　　

3、 在聚類算法上,STC方法是一種公認較好的用于Web搜索結果聚類的算法。SHOC、Lingo算法將向量空間模型(VSD Model)與后綴樹文檔表示模型結合起來,既考慮了詞的位置信息,又考慮詞的統(tǒng)計特性,在STC的基礎上有了較好的發(fā)展。然而,現(xiàn)有的聚類算法普遍存在聚類標簽可讀性不強,信息量不足,區(qū)分性較差等問題,且聚類結果不能充分反映用戶興趣。
　　 本文提出了一種改進的Web檢索結果聚類推薦算法CQIG,構建后綴數(shù)組找到完整

4、短語,結合矩陣奇異值分解產生候選聚類標簽,選取更為有效的特征改進標簽評分公式和聚類得分公式。同時采用了基本類合并技術,產生了更具表述性、區(qū)分性和可讀性的聚類結果并有效控制了重疊聚類。本文方法同時還加強了對于中文檢索的處理效果。
　　 本文建立了Web搜索結果聚類推薦引擎,采用了carrot2平臺作為基礎框架,通過各種大型搜索引擎API獲得源數(shù)據(jù),通過網(wǎng)頁清洗,分詞,提取特征項,建立VSM,構造CQIG、STC及Lingo進行聚類