聚類算法及在搜索引擎系統(tǒng)中的應(yīng)用.pdf

1、搜索引擎作為海量信息的融合平臺(tái)將萬(wàn)千世界帶到人們的周圍，使得大量信息都觸手可得，與此同時(shí)也悄悄改變著人們的生活。搜索引擎分為全文索引、目錄索引和元搜索引擎，而且其內(nèi)部形式一直沒(méi)有太大的變化。針對(duì)以上傳統(tǒng)搜索引擎類型可讀性差的狀況，聚類引擎應(yīng)運(yùn)而生。聚類引擎是在搜索引擎中使用聚類技術(shù)，運(yùn)用聚類算法對(duì)搜索結(jié)果進(jìn)行自動(dòng)聚類分析。其特點(diǎn)是去重性強(qiáng)、分類性強(qiáng)、匯集性強(qiáng)，即可以及時(shí)去除重復(fù)信息，對(duì)搜索的結(jié)果進(jìn)行分門(mén)別類，又可以匯集各大知名搜索引擎的

2、信息資源。
　　本文針對(duì)聚類引擎進(jìn)行了研究，用幾種聚類算法對(duì)搜索引擎的搜索結(jié)果進(jìn)行聚類處理，并返回聚類結(jié)果，最后對(duì)比這幾種聚類算法效果，實(shí)驗(yàn)中借助Carrot2平臺(tái)進(jìn)行分析總結(jié)。
　　具體完成的工作有如下幾個(gè)部分:
　　1.利用開(kāi)源搜索引擎框架Nutch，搭建搜索引擎平臺(tái)，并完成分詞、分頁(yè)等基本功能，為聚類引擎提供實(shí)驗(yàn)基礎(chǔ)數(shù)據(jù)。
　　2.將當(dāng)前主流的K-Means聚類算法、STC聚類算法和Lingo聚類算法寫(xiě)入N

3、utch搜索引擎，形成相應(yīng)算法下的聚類引擎，并逐一分析聚類結(jié)果效果。分析內(nèi)容包括各個(gè)算法下生成的類目標(biāo)簽和對(duì)大小數(shù)據(jù)集的處理情況等。
　　3.針對(duì)Lingo閾值的固定性，結(jié)合K-means算法距離提取的思想和Lingo算法對(duì)不同密度數(shù)據(jù)集可動(dòng)態(tài)調(diào)節(jié)閾值的思想，將Lingo算法進(jìn)行優(yōu)化，在保證算法復(fù)雜度的情況下對(duì)不同數(shù)據(jù)密度的原數(shù)據(jù)返回更精確的聚類結(jié)果。
　　4.利用Carrot2聚類可視化和F-measure聚類評(píng)測(cè)平臺(tái)對(duì)本