元搜索排序合成研究與應(yīng)用.pdf

1、隨著信息化的不斷發(fā)展和網(wǎng)絡(luò)資源的日益膨脹，人們對于資源獲取的方式，包括準(zhǔn)確性、多樣性、便利性等要求也越來越高。在這種背景下，傳統(tǒng)搜索引擎，如Google、Yahoo、百度等，雖然得到了突飛猛進(jìn)的發(fā)展，但同時也存在著網(wǎng)頁覆蓋率不足、處理能力有限、搜索接口不統(tǒng)一等許多問題。
　　 元搜索技術(shù)是解決這些問題的有效方法之一，它通過聯(lián)合多個搜索引擎，對返回結(jié)果進(jìn)行處理，并提供統(tǒng)一的查詢與結(jié)果返回接口，從而提高搜索查準(zhǔn)率與查全率。基于元搜索

2、技術(shù)的這些優(yōu)點，本文緊緊圍繞理論和應(yīng)用兩個層面，對元搜索技術(shù)展開探索和研究。
　　 理論上，當(dāng)前有關(guān)元搜索技術(shù)的研究主要集中在排序合成算法(Data Fusion)。排序合成算法可依據(jù)它們需要的信息進(jìn)行分類，包括是否需要相關(guān)度分值或排序位置信息，以及是否需要訓(xùn)練數(shù)據(jù)。然而，根據(jù)數(shù)據(jù)合成性質(zhì)，越優(yōu)秀的成員搜索引擎返回的文檔準(zhǔn)確性也越高，成員引擎的權(quán)重值也應(yīng)當(dāng)是排序合成的一個重要考慮因素。據(jù)此，本文以加權(quán)分值類算法為基礎(chǔ)，利用Dar

3、k Horse效應(yīng)以及文檔和成員搜索引擎之間互為推薦的對偶關(guān)系，根據(jù)各文檔的“共識度”構(gòu)建成員搜索引擎的自生成權(quán)值。并且，利用Skimming效應(yīng)，在算法中引入“瀏覽者模型”，只由排序位置信息即可計算文檔相關(guān)度分值。
　　 與其他加權(quán)類算法不同的是，這些改進(jìn)不依賴于包括相似度函數(shù)在內(nèi)的成員搜索引擎技術(shù)細(xì)節(jié)的先驗知識，同時也不需要訓(xùn)練數(shù)據(jù)。并且，這些改進(jìn)也不是針對某一特定算法，而是可以應(yīng)用到任何加權(quán)分值類算法中的一種改進(jìn)。基于這兩

4、項主要改進(jìn)并結(jié)合CombMNZ算法，提出改進(jìn)Comb的自生成加權(quán)排序合成算法。最后，通過TREC數(shù)據(jù)集進(jìn)行實驗，證實了這些改進(jìn)的有效性。
　　 在應(yīng)用方面，本文以個人學(xué)術(shù)信息協(xié)同軟件平臺“SCHOL@”為依托，將元搜索技術(shù)應(yīng)用到垂直學(xué)術(shù)搜索引擎中來，探索并設(shè)計實現(xiàn)了基于個人學(xué)術(shù)信息的個性化web學(xué)術(shù)搜索引擎。該引擎主要提供中國期刊網(wǎng)、IEEE、Google Scholar等數(shù)據(jù)源的中英文學(xué)術(shù)論文和著作信息檢索，為學(xué)者提供有效的學(xué)