支持多語言標(biāo)簽優(yōu)先的元搜索引擎結(jié)果聚類研究.pdf

1、隨著互聯(lián)網(wǎng)規(guī)模的爆炸式增長，作為信息檢索工具的搜索引擎得到了廣泛的研究和應(yīng)用。據(jù)研究單個搜索引擎能找到的相關(guān)信息通常不超過互聯(lián)網(wǎng)上所有相關(guān)信息的45％。另外，雖然現(xiàn)有的搜索引擎采用了多種技術(shù)來提高信息檢索的準(zhǔn)確度，但以線性列表形式展現(xiàn)搜索結(jié)果的方法，使查詢相關(guān)文檔和不相關(guān)文檔相互混合，給用戶定位真正需要的信息帶來了極大的負(fù)擔(dān)。
　　 論文研究了如何構(gòu)建一個的高性能的分布式的個性化元搜索引擎，并在此基礎(chǔ)上對搜索結(jié)果進(jìn)行聚類以便減少

2、用戶定位信息的時間。通過將各個搜索引擎的結(jié)果進(jìn)行合成，我們可以為用戶提供更加全面的信息。通過聚類，把搜索結(jié)果組織成樹狀層次結(jié)構(gòu)，使得同一類別中的數(shù)據(jù)相關(guān)性盡可能高，不同類別間的數(shù)據(jù)的相關(guān)性盡可能低。在聚類過程中，我們基于全局?jǐn)?shù)據(jù)優(yōu)先生成聚類的標(biāo)簽名，從而使得類標(biāo)簽對用戶可讀性更好，縮小用戶定位信息的范圍提高檢索的命中率，從而縮短用戶定位數(shù)據(jù)的時間。
　　 實(shí)驗數(shù)據(jù)表明，本文算法生成的類標(biāo)簽可讀性優(yōu)于其他算法，而且搜索結(jié)果從數(shù)量和

3、準(zhǔn)確性方面都優(yōu)于其他算法。與其他搜索結(jié)果聚類不同，本文提出了一種支持多語言標(biāo)簽優(yōu)先的聚類算法，我們將其稱之為DCFC算法。該算法支持中文和英文，并且重點(diǎn)關(guān)注生成類標(biāo)簽對人的可讀性，類別以層次結(jié)構(gòu)展現(xiàn)。系統(tǒng)提供了一些參數(shù)來讓用戶控調(diào)整系統(tǒng)的運(yùn)行結(jié)果：用戶可以通過標(biāo)簽的長度，搜索結(jié)果中含有的數(shù)據(jù)條數(shù)等對搜索結(jié)果進(jìn)行調(diào)整。DCFC算法主要有五個步驟：數(shù)據(jù)預(yù)處理、分詞、頻繁短語的生成、多層的類標(biāo)簽的生成、將數(shù)據(jù)歸到相應(yīng)的類下。
　　 我