萬維網(wǎng)信息檢索的評價體系研究.pdf

1、隨著萬維網(wǎng)的發(fā)展，越來越多的信息被數(shù)字化，信息檢索成為最廣泛使用的計算機應(yīng)用技術(shù)之一。每一秒，都有成千上萬的人在搜索萬維網(wǎng)上的信息，期望找到滿意的結(jié)果。評價是信息檢索的基石，因為信息檢索技術(shù)的進步有賴于對新想法的實驗和檢索效果的度量。無法反映用戶感受的評價會阻礙甚至誤導(dǎo)信息檢索技術(shù)的發(fā)展。
　　 廣義的信息檢索評價不僅僅是指對評價指標的研究，而是一個體系，它涵蓋了查詢詞集合、待標注文檔集合、標注環(huán)節(jié)和評價環(huán)節(jié)。在對大規(guī)模萬維網(wǎng)檢

2、索系統(tǒng)的評價實踐中，發(fā)現(xiàn)評價是否能夠反映用戶的真實感受，很大程度上依賴于標注的方法、查詢詞的選取、和評價的側(cè)重點。針對萬維網(wǎng)對評價體系提出的新挑戰(zhàn)，本文做出了以下貢獻：
　　 一、對標注環(huán)節(jié)的研究：對于意圖明確的查詢詞，研究了基于文檔間相對相關(guān)性的標注方法。在資源有限的情況下，如何能獲取區(qū)別力更強、質(zhì)量更高的標注是做大規(guī)模信息檢索評價的關(guān)鍵。傳統(tǒng)的方法通常是讓標注者事先熟悉預(yù)定義的相關(guān)性級別，然后根據(jù)查詢詞和一篇文檔的內(nèi)容來分配

3、一個合適的級別。這一過程和其他文檔沒有直接關(guān)系，把它稱為絕對標注。當搜索引擎需要大規(guī)模的標注數(shù)據(jù)來訓練排序模型或是評價算法時，這種傳統(tǒng)的標注方法的一些問題就凸現(xiàn)出來。對某些查詢詞來說，預(yù)定義的級別還不足夠區(qū)分一些有差別的文檔。另外，處于級別邊緣的文檔，標注者有時很難僅憑該文檔獨立做出判斷。相反，以往的工作發(fā)現(xiàn)人們比較容易在兩篇文檔之間做出相對相關(guān)性的判斷。因此，工作擴展了以往基于文檔對的標注方法，形式化了相對相關(guān)性標注的問題，并提出了一

4、個基于多篇文檔的相對標注方法。該方法能顯著的增加標注的區(qū)分度和標注者之間的一致性，并且比基于文檔對的相對標注方法的效率快一倍。
　　 二、對查詢詞的研究：打破了以往公共評測數(shù)據(jù)集對查詢意圖明確的假設(shè)，研究了萬維網(wǎng)搜索日志中真實存在的多義查詢詞及其比例。雖然人們發(fā)現(xiàn)提交到搜索引擎的部分查詢詞有歧義（如，java和apple），但以往的評價集合很少包含這類查詢詞，也很少有工作根據(jù)模糊性對查詢詞進行分類。本文將首次探討這些問題。依據(jù)查

5、詢詞的語義模糊性，提出一個查詢詞的分類法；接著，請標注員利用多種資源對查詢詞進行人工分類，從結(jié)果中觀察到多義查詢詞在某種程度上是可以預(yù)測的；于是，提出了兩種方法來有監(jiān)督的學習查詢詞二義性模型：基于搜索結(jié)果的方法和基于搜索日志的方法。實驗結(jié)果表明，基于搜索結(jié)果的方法在隨機選取的查詢詞上能夠達到87％的準確率，而基于日志的方法在有日志的查詢詞上可以達到86%的準確率。利用基于搜索結(jié)果的方法，估計實際搜索中大約有16%的查詢詞是多義詞。

6、>　　 三、對評價環(huán)節(jié)的研究：對于多義查詢詞，好的檢索結(jié)果需要兼顧相關(guān)性和多樣性，本文中研究了多樣性的評價問題。對于多義查詢詞來說，如果無法知道用戶的真實意圖，一個自然的做法是對檢索結(jié)果進行多樣化。已經(jīng)有一些工作研究多樣化的算法，但是對于如何評價多樣性還缺乏系統(tǒng)的研究。本文將探討兩個與評價多樣性密切相關(guān)的問題：1）一般很難窮舉多義查詢詞的所有可能意圖，那么不完整的意圖集合會對評價結(jié)果有何影響？2）不同意圖的流行程度是不同的，那么如何估

7、計每種意圖可能被查詢的概率？嘗試為多義查詢詞構(gòu)建了一個測試集，并允許標注者在做相關(guān)性標注時增添新意圖。另外，提出了兩種模型來估計每個意圖的概率。通過實驗，研究了意圖的不完整性和概率估計對評價多樣性的影響。
　　 本文圍繞著萬維網(wǎng)信息檢索的評價體系中的實際問題，著重研究了相關(guān)性標注方法，查詢詞的模糊性和檢索結(jié)果多樣性的評價。富于創(chuàng)新性的方法和詳實的實驗結(jié)論對大規(guī)模信息檢索的評價有著重要的參考價值。本文提出的標注方法已經(jīng)被應(yīng)用于商用