萬維網(wǎng)信息檢索的評價體系研究.pdf

1、隨著萬維網(wǎng)的發(fā)展，越來越多的信息被數(shù)字化，信息檢索成為最廣泛使用的計算機(jī)應(yīng)用技術(shù)之一。每一秒，都有成千上萬的人在搜索萬維網(wǎng)上的信息，期望找到滿意的結(jié)果。評價是信息檢索的基石，因?yàn)樾畔z索技術(shù)的進(jìn)步有賴于對新想法的實(shí)驗(yàn)和檢索效果的度量。無法反映用戶感受的評價會阻礙甚至誤導(dǎo)信息檢索技術(shù)的發(fā)展。
　　 廣義的信息檢索評價不僅僅是指對評價指標(biāo)的研究，而是一個體系，它涵蓋了查詢詞集合、待標(biāo)注文檔集合、標(biāo)注環(huán)節(jié)和評價環(huán)節(jié)。在對大規(guī)模萬維網(wǎng)檢

2、索系統(tǒng)的評價實(shí)踐中，發(fā)現(xiàn)評價是否能夠反映用戶的真實(shí)感受，很大程度上依賴于標(biāo)注的方法、查詢詞的選取、和評價的側(cè)重點(diǎn)。針對萬維網(wǎng)對評價體系提出的新挑戰(zhàn)，本文做出了以下貢獻(xiàn)：
　　 一、對標(biāo)注環(huán)節(jié)的研究：對于意圖明確的查詢詞，研究了基于文檔間相對相關(guān)性的標(biāo)注方法。在資源有限的情況下，如何能獲取區(qū)別力更強(qiáng)、質(zhì)量更高的標(biāo)注是做大規(guī)模信息檢索評價的關(guān)鍵。傳統(tǒng)的方法通常是讓標(biāo)注者事先熟悉預(yù)定義的相關(guān)性級別，然后根據(jù)查詢詞和一篇文檔的內(nèi)容來分配

3、一個合適的級別。這一過程和其他文檔沒有直接關(guān)系，把它稱為絕對標(biāo)注。當(dāng)搜索引擎需要大規(guī)模的標(biāo)注數(shù)據(jù)來訓(xùn)練排序模型或是評價算法時，這種傳統(tǒng)的標(biāo)注方法的一些問題就凸現(xiàn)出來。對某些查詢詞來說，預(yù)定義的級別還不足夠區(qū)分一些有差別的文檔。另外，處于級別邊緣的文檔，標(biāo)注者有時很難僅憑該文檔獨(dú)立做出判斷。相反，以往的工作發(fā)現(xiàn)人們比較容易在兩篇文檔之間做出相對相關(guān)性的判斷。因此，工作擴(kuò)展了以往基于文檔對的標(biāo)注方法，形式化了相對相關(guān)性標(biāo)注的問題，并提出了一

4、個基于多篇文檔的相對標(biāo)注方法。該方法能顯著的增加標(biāo)注的區(qū)分度和標(biāo)注者之間的一致性，并且比基于文檔對的相對標(biāo)注方法的效率快一倍。
　　 二、對查詢詞的研究：打破了以往公共評測數(shù)據(jù)集對查詢意圖明確的假設(shè)，研究了萬維網(wǎng)搜索日志中真實(shí)存在的多義查詢詞及其比例。雖然人們發(fā)現(xiàn)提交到搜索引擎的部分查詢詞有歧義（如，java和apple），但以往的評價集合很少包含這類查詢詞，也很少有工作根據(jù)模糊性對查詢詞進(jìn)行分類。本文將首次探討這些問題。依據(jù)查

5、詢詞的語義模糊性，提出一個查詢詞的分類法；接著，請標(biāo)注員利用多種資源對查詢詞進(jìn)行人工分類，從結(jié)果中觀察到多義查詢詞在某種程度上是可以預(yù)測的；于是，提出了兩種方法來有監(jiān)督的學(xué)習(xí)查詢詞二義性模型：基于搜索結(jié)果的方法和基于搜索日志的方法。實(shí)驗(yàn)結(jié)果表明，基于搜索結(jié)果的方法在隨機(jī)選取的查詢詞上能夠達(dá)到87％的準(zhǔn)確率，而基于日志的方法在有日志的查詢詞上可以達(dá)到86%的準(zhǔn)確率。利用基于搜索結(jié)果的方法，估計實(shí)際搜索中大約有16%的查詢詞是多義詞。

6、>　　 三、對評價環(huán)節(jié)的研究：對于多義查詢詞，好的檢索結(jié)果需要兼顧相關(guān)性和多樣性，本文中研究了多樣性的評價問題。對于多義查詢詞來說，如果無法知道用戶的真實(shí)意圖，一個自然的做法是對檢索結(jié)果進(jìn)行多樣化。已經(jīng)有一些工作研究多樣化的算法，但是對于如何評價多樣性還缺乏系統(tǒng)的研究。本文將探討兩個與評價多樣性密切相關(guān)的問題：1）一般很難窮舉多義查詢詞的所有可能意圖，那么不完整的意圖集合會對評價結(jié)果有何影響？2）不同意圖的流行程度是不同的，那么如何估

7、計每種意圖可能被查詢的概率？嘗試為多義查詢詞構(gòu)建了一個測試集，并允許標(biāo)注者在做相關(guān)性標(biāo)注時增添新意圖。另外，提出了兩種模型來估計每個意圖的概率。通過實(shí)驗(yàn)，研究了意圖的不完整性和概率估計對評價多樣性的影響。
　　 本文圍繞著萬維網(wǎng)信息檢索的評價體系中的實(shí)際問題，著重研究了相關(guān)性標(biāo)注方法，查詢詞的模糊性和檢索結(jié)果多樣性的評價。富于創(chuàng)新性的方法和詳實(shí)的實(shí)驗(yàn)結(jié)論對大規(guī)模信息檢索的評價有著重要的參考價值。本文提出的標(biāo)注方法已經(jīng)被應(yīng)用于商用