基于聚集系數(shù)的文本檢索查詢性能預(yù)測.pdf

1、隨著信息技術(shù)的發(fā)展，信息資源呈爆炸性增長，人們迫切需要從海量的文檔集中搜索自己感興趣的信息，信息檢索技術(shù)應(yīng)運而生并發(fā)揮著越來越重要的作用。然而，目前的信息檢索系統(tǒng)都存在嚴(yán)重的魯棒性問題，查詢性能預(yù)測作為最可能解決該問題的技術(shù)，受到信息檢索界的廣泛關(guān)注。 研究人員針對查詢性能預(yù)測做了大量工作，提出了Clarity Score、Robustness Score等經(jīng)典算法，然而，基于檢索前的方法預(yù)測準(zhǔn)確性較差；基于檢索后的方法，雖然預(yù)

2、測準(zhǔn)確性較高，但是都要分析所有相關(guān)文檔的幾何學(xué)特性，計算復(fù)雜度高。 本文中，我們分析了信息檢索的影響因素，發(fā)現(xiàn)查詢、文檔集的質(zhì)量、檢索模型及模型中的參數(shù)都對信息檢索性能有重大影響，而檢索系統(tǒng)沒有識別所有查詢詞項更是導(dǎo)致檢索失敗的根源。 基于“檢索系統(tǒng)沒有識別所有查詢詞項是導(dǎo)致檢索失敗的根源”和“聚團(tuán)性假設(shè)”兩大理論，借鑒向量空間模型中的思想，我們提出了基于聚集系數(shù)的文本檢索查詢性能預(yù)測模型，該模型利用聚集系數(shù)來衡量檢索系

3、統(tǒng)對所有查詢詞項的識別度和返回的相關(guān)文檔間的相似度，實驗證明，聚集系數(shù)與查詢的難易度有著顯著的一致性聯(lián)系，與Clarity Score、Robustness Score模型相比，聚集系數(shù)模型能夠較為準(zhǔn)確地對查詢性能進(jìn)行預(yù)測。 相對于以往的模型，聚集系數(shù)模型有許多創(chuàng)新： (1)首次將“檢索系統(tǒng)沒有識別所有查詢詞項是導(dǎo)致檢索失敗的根源”和“聚團(tuán)性假設(shè)”兩大理論同時應(yīng)用到查詢性能預(yù)測模型中，利用聚集系數(shù)同時衡量檢索系統(tǒng)對所有查

4、詢詞項的識別度和返回文檔的相似度，可以獲得更好的預(yù)測性能； (2)首次利用返回文檔關(guān)于查詢的相似度來代替直接計算返回文檔間的相似度，在保持較高預(yù)測準(zhǔn)確性的同時提高了計算效率； (3)首次將“利用WordNet中詞項的距離來計算它們的相似度”的方法應(yīng)用到查詢性能預(yù)測中，并利用它來計算頻繁詞項與查詢詞項的相似度，取消了“頻繁詞項之間、頻繁詞項與查詢詞項之間均相互獨立”的假設(shè)，更加符合實際應(yīng)用情形。 此外，聚集系數(shù)模型