網(wǎng)頁在線聚類的研究與實現(xiàn).pdf

1、隨著網(wǎng)絡信息的爆炸式增長，搜索引擎日益成為信息時代不可或缺的工具。當前主流的搜索引擎主要是以與用戶搜索的相關度來排序返回搜索結果的，用戶往往需要花費較長的時間從結果列表中選擇所需的文檔。采用網(wǎng)頁聚類技術對搜索引擎返回的標題和摘要信息進行聚類已成為目前學術研究的熱點。通過這種技術，可以把搜索結果按照一定的標準進行分組，從而方便用戶定位自己感興趣的信息。我們在本文里提出了一個新的數(shù)據(jù)表示模型——有向概率圖，利用該模型無須比較兩兩文檔即可非常

2、容易地識別文檔之間的共享短語；基于該模型的聚類算法根據(jù)文檔間的共享短語進行快速聚類，同時對于聚類結果的每個簇賦予有意義的短語標簽。該算法不需要計算兩兩文檔之間的相似度，因而大大提高了聚類效率；它采用短語作為最終聚類結果的標簽，提高了聚類的可讀性；它避免了中文網(wǎng)頁聚類的分詞步驟，因而該算法不僅適用于英文等西方語言，而且也適用于中文等東方語言。在此基礎上我們實現(xiàn)了一個高效的網(wǎng)頁聚類原型系統(tǒng)：ETOC (Efficient Token-bas