搜索引擎網(wǎng)頁相關性評估方法設計及其在rank模型上的應用.pdf

1、伴隨著互聯(lián)網(wǎng)的高速發(fā)展,網(wǎng)上信息呈爆炸式增長,普通網(wǎng)絡用戶從互聯(lián)網(wǎng)上查找所需資料有如大海撈針。針對這種現(xiàn)象,搜索服務應運而生。搜索引擎技術根據(jù)網(wǎng)頁相關性、站點的權威度等因素將網(wǎng)頁進行綜合排名,用戶在搜索所需信息時,質量高的結果得到優(yōu)先展現(xiàn),這對普通網(wǎng)絡用戶來說有重大意義。搜索引擎的目標是最大程度上滿足用戶查找信息的需求,但在實際檢索中,發(fā)現(xiàn)對于一些查詢頻次低、線上資源少的搜索需求,搜索引擎很難將相關程度高的結果優(yōu)先返回給用戶,導致用戶進

2、行檢索的體驗較差。
　　 本文所介紹的相關性評估是提升搜索質量的一個基礎而核心的步驟,評估工作可以發(fā)現(xiàn)目前搜索引擎技術的缺陷,提高搜索質量,搜索引擎相關性評估工作的成果,將影響到數(shù)億用戶的搜索體驗。冷門query(關鍵詞、查詢詞)相關性評估項目通過對查詢頻次低的query進行網(wǎng)頁相關性評估,分析目前rank模型存在的問題,進而改善用戶在冷門query檢索上的體驗。本人的主要工作如下:
　　 1.在相關性4檔評估方法的基礎

3、上,設計了相關性5檔評估方法,這也是本文的重要創(chuàng)新點;
　　 2.通過德爾菲用戶相關性評估實驗,得到來自于用戶真實的相關性評估數(shù)據(jù),將相關性4檔打分和5檔打分的網(wǎng)頁數(shù)據(jù)標注結果進行曲線擬合,以證明相關性5檔打分方法對于冷門query相關性評估具有明顯的精確性;
　　 3.組織用戶對冷門query對應的百度、Google網(wǎng)頁數(shù)據(jù)進行相關性評估,并對評估結果進行宏觀統(tǒng)計分析,量化百度與Google的檢索差距,量化百度與理想情