一種基于層次思想的搜索日志聚類算法.pdf

1、隨著搜索引擎技術(shù)的發(fā)展和網(wǎng)絡(luò)數(shù)據(jù)的膨脹，搜索引擎已經(jīng)成為人們進入互聯(lián)網(wǎng)海量數(shù)據(jù)空間的首要入口。每天搜索引擎都會接收到大量用戶搜索請求并且將用戶的搜索請求詳情保存下來，成為搜索日志。怎樣從海量的搜索引擎日志中挖掘出有意義的知識，是目前工業(yè)界和學(xué)術(shù)界研究的一個熱點。搜索結(jié)果的聚類能夠幫助用戶更容易的獲得所需的內(nèi)容，幫助研究人員對搜索日志進行初步分析。
　　搜索日志一般為短文本，文本字數(shù)較少，使得文本的聚類結(jié)果更容易受到無意義詞語的干擾

2、，降低準(zhǔn)確性。一般方法只是根據(jù)詞語詞性，剔除某些無意義詞性的詞語，例如助詞、狀詞等。
　　本文首先針對已有搜索日志數(shù)據(jù)特點，使用了一種詞語篩選方法對無意義詞語進行了剔除。通過仔細分析整個短文本集的特點，制定詞語剔除規(guī)則。最后從篩選原理、實驗結(jié)果兩個方面說明該方法的有效性。
　　由于搜索日志數(shù)據(jù)量巨大，且在聚類前無法獲知聚類個數(shù)，使得很多常用聚類算法如k-means、層次聚類算法AGNES等不適合搜索日志的聚類。本文針對搜索日

3、志聚類的難點，提出了一種基于層次思想的聚類算法，稱為“順序聚類算法”。該算法在時間復(fù)雜度、聚類可靠性、輸入?yún)?shù)等方面取得綜合性優(yōu)勢，而且可以將一個文本聚類到多個合適的類別中，更有利于挖掘文本之間的內(nèi)在聯(lián)系，使算法更適合搜索引擎日志的聚類。“文本整合”和“文本回溯”是順序聚類算法的兩個重要概念?！拔谋菊稀蹦軌蚴姑總€類在聚類過程中自動形成該類別的主題特征?！拔谋净厮荨绷蠲恳粋€文本都有機會與新建的類別比較相似性，使其有機會聚類到其他類別中。