基于中文檢索的Web聚類算法研究.pdf

1、隨著大數(shù)據(jù)時代的到來，用戶對信息搜索的精確度和效率提出了更高要求，而傳統(tǒng)的搜索引擎存在著一定的不足。聚類檢索是對搜索引擎的返回結果聚類，然后將提取的標簽和類簇呈現(xiàn)給用戶。用戶根據(jù)標簽就可以直觀地獲取檢索結果的總體信息，能夠迅速定位自己想要查找的內容，提高了用戶的查詢效率。
　　Carrot2是一個開源的聚類搜索引擎系統(tǒng)，它采用的聚類算法在Web檢索聚類方面有很強的代表性。文章選取Carrot2采用的K-means和Lingo算法進

2、行了深入研究，并針對算法的不足及存在問題做了一定的改進。
　　K-means是經(jīng)典的劃分聚類算法，其具有簡單易懂、運行速度快的優(yōu)點，然而也存在著一些不足，如K值的確定、初始聚類中心的選取、易受噪音點和孤立點的影響等多個方面。文章首先結合Web檢索結果的特點確定了K值并選出初始聚類中心，然后用權重法代替平均法降低了噪聲數(shù)據(jù)的影響。在經(jīng)過多次試驗后，又發(fā)現(xiàn)文檔的合理歸類問題。文章根據(jù)Web檢索結果的排名特點，改進了權值計算公式，使文檔

3、歸入排名靠前的類簇中。如“華為”的檢索結果中，將文檔“華為手機大全”放入“手機”和“大全”的類簇中都不為錯，但歸入“手機”的類簇中顯然更加合適。
　　Lingo算法是基于潛在語義索引的聚類算法。本文分析了Lingo算法中影響聚類效果的因素，通過引入位置信息和詞長信息對其權值計算公式進行了改進，以提高聚類的準確率。
　　實驗表明，改進后的K-means算法解決了硬聚類算法的文檔合理歸類問題，而且具有良好的聚類效果，標簽的可讀性