搜索引擎結(jié)果的聚類系統(tǒng)研究.pdf

1、隨著網(wǎng)絡(luò)信息的急速增長,搜索引擎成為了人們使用最廣泛的網(wǎng)絡(luò)工具。由于現(xiàn)在的搜索引擎返回的結(jié)果過于龐大,只是一個線性列表,用戶在使用搜索引擎時,往往只瀏覽前幾個文檔,經(jīng)常找不到需要的信息,因此研究人員引入了聚類來改善搜索引擎。由于聚類是一種非監(jiān)督算法,并且使用十分靈活,所以它成為改善搜索引擎的一個重要工具。
　　 本文完成了搜索引擎結(jié)果聚類系統(tǒng),使用了Lingo算法的改進(jìn)算法ALingo,對以達(dá)到能夠縮短用戶檢索時間,更快找到所需

2、信息的目的。本文的主要研究工作如下:
　　 在文本聚類中,準(zhǔn)確的文本預(yù)處理成為了能夠提高聚類效果的前提,在本文中,完成了中英文文本預(yù)處理,包括去除符號、中文分詞處理、英文還原詞干以及去除停用詞。然后對文檔進(jìn)行特征提取,利用向量空間模型將文本轉(zhuǎn)換成可處理的矩陣,為文檔聚類打下良好基礎(chǔ)。
　　 深入研究Lingo算法,了解其流程以及LSI處理方法,將其與后綴樹聚類算法相比較,突出Lingo算法的優(yōu)越性。研究發(fā)現(xiàn)Lingo算法

3、存在無法提取出存在于兩個句子中的類標(biāo)簽的缺點(diǎn),所以本文引入了數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則的算法Apriori算法,對文檔進(jìn)行處理,尋找到文檔中的頻繁項集,即文檔的主題,經(jīng)過特殊的去重處理,作為搜索建議關(guān)鍵字返回給用戶。由于搜索建議關(guān)鍵字是沒有句子界限限制的,所以更加能夠體現(xiàn)出文檔的多主題特性,使用戶能夠更深入了解文檔的主題,方便進(jìn)行二次搜索,縮短搜索時間。
　　 本文完成的搜索引擎聚類系統(tǒng)使用全文搜索引擎Lucene的搜索結(jié)果,對其進(jìn)行