基于聚類分析的搜索引擎自動性能評價研究.pdf

1、隨著互聯(lián)網(wǎng)的快速普及，通過網(wǎng)絡(luò)共享的信息資源正以指數(shù)級的速度遞增。要從眾多的網(wǎng)頁中找到我們需要的信息，無疑像大海撈針一樣困難，搜索引擎技術(shù)就是為了幫助人們快速地找到所需的信息。而搜索引擎的檢索性能評價作為信息檢索研究中的核心課題之一，客觀可靠的檢索性能評價方式是必須考慮和設(shè)計的內(nèi)容。
　　 傳統(tǒng)的搜索引擎性能評價方法需要人工標(biāo)注標(biāo)準(zhǔn)答案集，需花費了大量的人力物力，并且評價結(jié)果依賴人工標(biāo)注的準(zhǔn)確性，效率較低?；诰垲惙治龅乃悸罚?/p>

2、出了一種搜索引擎性能評價指標(biāo)和自動進行搜索引擎性能評價的方法，此方法能自動計算信息類查詢的覆蓋范圍，并根據(jù)其覆蓋范圍對檢索結(jié)果進行聚類，通過評估函數(shù)實現(xiàn)檢索性能的自動評價，并對如何利用類間距和類內(nèi)距兩個指標(biāo)來定義合適的評估函數(shù)進行了分析。實驗結(jié)果表明，基于聚類指標(biāo)的評價方法與人工標(biāo)注的評價方法的評價結(jié)果是相一致的。
　　 具體來說，本文的工作主要包括以下幾點：
　　 1)在大規(guī)模日志分析的網(wǎng)絡(luò)搜索引擎用戶行為研究的基礎(chǔ)上

3、，對Sogou實驗室提供的查詢?nèi)罩具M行分析，提取了查詢?nèi)罩局械男畔㈩惒樵儾⑻岢隽擞嬎悴樵兏采w度的方法；
　　 2)使用不同的搜索引擎(谷歌、百度、Bing)對提取出來的信息類查詢進行檢索，運用一些網(wǎng)頁抓取器將檢索返回的結(jié)果網(wǎng)頁下載保存進行預(yù)處理；
　　 3)構(gòu)建了一個完整的檢索系統(tǒng)評價實驗平臺，對檢索結(jié)果進行聚類分析，通過類內(nèi)距和類間距等聚類指標(biāo)定義不同的評估函數(shù)對檢索性能進行評價；
　　 4)使用抽樣方法進行人