基于動態(tài)增長測試集的搜索引擎評價方法的研究與應用.pdf

1、基于Cranfield體系的搜索引擎評價大多是多個搜索算法是在一個固定的測試集合上進行的。這種評價方法相對而言比較客觀和公正，并且整個評價過程和結果可以重復再現(xiàn)。然而這種方式不適合生產(chǎn)環(huán)境下的搜索引擎，因為其文檔規(guī)模是動態(tài)增長的，大量的未判斷的文檔將導致結果顯著變差。為了解決這一問題，并在動態(tài)增長的索引上比較兩種搜索算法，本文針對系統(tǒng)領域的特殊性，構建了必要的測試集合，并提出了一種基于動態(tài)增加測試集的搜索引擎評價框架。該框架主要分為數(shù)據(jù)

2、生成、指標計算和結果展示三個模塊。
　　為了保證該評價框架的有效性，本文采用了工作流引擎定期驅動搜索引擎評價的設計，選取了適合待評價系統(tǒng)的評價指標，還結合測試集合中話題的特點，提出了能夠更新測試集合的搜索結果與話題的相關性預測算法，并還給出了如何在一段時間內(nèi)每個評價指標計算結果的比較方法。通過實驗證明了評價指標的選取是合理的，通過相關性預測算法更新測試集合是有效的，還給出了該評價方法的適用范圍。并且該方法得到了業(yè)務專家的認同。