時間感知的Web搜索研究.pdf

1、隨著互聯(lián)網(wǎng)和信息技術(shù)的飛速發(fā)展，Web信息呈現(xiàn)出爆炸式增長的趨勢。海量的Web信息使得人們快速查找到真正需要的信息變得十分困難，因而也帶動了搜索引擎技術(shù)的快速發(fā)展。搜索引擎通過爬蟲在互聯(lián)網(wǎng)中搜集大量的網(wǎng)頁，然后運用一定的方法對網(wǎng)頁處理后進行索引和存儲，并通過有效的排序算法返回與用戶查詢相關(guān)的結(jié)果。目前，搜索引擎已經(jīng)成為人們獲取Web信息的重要工具，優(yōu)化搜索引擎的性能也成為目前Web領(lǐng)域的一個熱點問題。現(xiàn)有搜索引擎的一個主要問題是對于We

2、b網(wǎng)頁的時間信息缺乏有效的處理技術(shù)。時間信息和我們的日常生活息息相關(guān)。在日常的Web搜索行為中，人們也常常將時間信息作為查詢詞提交給搜索引擎進行查詢。已有研究表明，在用戶提交的查詢中，有約1.5％的查詢包含了顯式的時間約束，有約7％的查詢包含了隱式的時間約束。另外，在本文的實驗中我們發(fā)現(xiàn)，平均每個新聞網(wǎng)頁都包含了5個左右的時間表達式。這些都說明了時間信息對于網(wǎng)頁以及用戶查詢的重要性。而現(xiàn)在的搜索引擎對查詢中的時間核心詞僅僅作為普通文本核

3、心詞來處理，在索引、排序等過程中也只考慮了網(wǎng)頁的發(fā)布時間，缺乏對網(wǎng)頁內(nèi)容時間和查詢中的時間信息的抽取和分析，因此不能很好地理解用戶的查詢意圖，也不能將時間信息有效地結(jié)合到查詢結(jié)果的排序算法中，最終導(dǎo)致搜索引擎在回答時間相關(guān)類用戶查詢時難以獲得好的查詢效果。
　　本文針對現(xiàn)有搜索引擎缺乏有效的時間感知搜索能力的現(xiàn)狀，研究了時間感知搜索中的若干關(guān)鍵問題，提出了一系列的解決方法。論文首先闡述了時間感知搜索的研究背景和意義，分析了時間感知

4、搜索研究中存在的問題和挑戰(zhàn)，在此基礎(chǔ)上圍繞網(wǎng)頁時間抽取、時間感知的網(wǎng)頁排序、查詢時間擴展、時間感知搜索原型系統(tǒng)等問題開展了深入研究。主要內(nèi)容包括：⑴針對現(xiàn)有的研究很少區(qū)分網(wǎng)頁中的時間表達式和網(wǎng)頁內(nèi)容的相關(guān)程度的問題，提出了一種基于網(wǎng)頁時間表達式出現(xiàn)次數(shù)和時間表達式之間的包含關(guān)系的網(wǎng)頁首要時間抽取算法。該算法不是僅考慮網(wǎng)頁時間表達式出現(xiàn)的次數(shù)，而且還考慮了時間的內(nèi)在含義，更加適合于我們對于文本理解，同時網(wǎng)頁顯式時間和隱式時間具有不同的抽取

5、精度的問題也被考慮在內(nèi)，算法得到了較高的準(zhǔn)確率。⑵針對現(xiàn)有的時間感知排序算法對網(wǎng)頁內(nèi)容時間以及網(wǎng)頁和時間表達式相關(guān)程度考慮不足的問題，本文提出了一個基于網(wǎng)頁首要時間的時間感知排序算法。該算法充分考慮網(wǎng)頁中出現(xiàn)的內(nèi)容時間，同時對網(wǎng)頁中出現(xiàn)的每一個時間表達式都定義了和網(wǎng)頁內(nèi)容的相關(guān)性權(quán)重，另外，該算法也考慮了顯式時間和隱式時間的抽取精度的問題，相對于其它對比算法，本文提出的方法具有更好的性能。⑶針對用戶在提出查詢時不知道確切的時間約束的問題

6、，本文提出了一個基于權(quán)重矩陣的查詢時間擴展算法。該算法通過對網(wǎng)頁的內(nèi)容進行分析，考慮網(wǎng)頁內(nèi)容中時間表達式和文本核心詞的共現(xiàn)關(guān)系，得到兩者的相關(guān)程度，在用戶提出相應(yīng)的查詢關(guān)鍵字的時候返回根據(jù)相關(guān)度排序的時間詞候選列表。該方法通過網(wǎng)頁的內(nèi)容進行分析，只要網(wǎng)頁錄入了搜索引擎的索引庫，就能及時的對擴展時間詞進行更新，具有很強的及時性，這種方法得到的候選時間詞具有很高的準(zhǔn)確率。⑷針對現(xiàn)有的時間感知排序算法沒有統(tǒng)一的平臺的問題，本文實現(xiàn)了一個時間感