搜索引擎檢索結(jié)果聚類方法的研究與改進(jìn).pdf

1、目前，現(xiàn)有的搜索引擎雖然采用各種方法來(lái)提高檢索結(jié)果的精度，但相關(guān)文檔和不相關(guān)文檔仍然相互混雜，給用戶帶來(lái)了負(fù)擔(dān)。將搜索引擎返回結(jié)果進(jìn)行聚類，將其分成若干個(gè)簇，同一簇內(nèi)文檔相關(guān)度盡可能的大，不同簇間文檔相關(guān)度盡可能的小，這樣將大大縮小用戶所需瀏覽的結(jié)果數(shù)量，從而縮短用戶查詢所需要的時(shí)間。 首先，本文在特征項(xiàng)的抽取過(guò)程中，在短語(yǔ)層次上采用詞典識(shí)別與統(tǒng)計(jì)方法相結(jié)合的方式，這樣既可以識(shí)別常用詞匯，又可以識(shí)別專業(yè)術(shù)語(yǔ)、縮略語(yǔ)、臨時(shí)用語(yǔ)、新

2、出現(xiàn)的用語(yǔ)等等往往不會(huì)在詞典之中的詞匯。對(duì)索引結(jié)構(gòu)進(jìn)行改進(jìn)，文檔的順序表與倒排表共同作為索引，以使其更加適應(yīng)對(duì)搜索引擎返回結(jié)果的聚類。 其次，給出一個(gè)快速聚類算法HPMC。在此方法中首先計(jì)算返回結(jié)果之間的相似性，然后使用層次聚類法產(chǎn)生初始種子點(diǎn)，利用k-means與Single pass相結(jié)合的算法進(jìn)行聚類形成基類，通過(guò)合并基類最終得到聚類結(jié)果。 最后，對(duì)HPMC算法從時(shí)間復(fù)雜度、空間復(fù)雜度、聚類質(zhì)量、聚類數(shù)目的形成、對(duì)