基于日志分析的信息檢索技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)規(guī)模的爆炸式增長，搜索引擎已經(jīng)成為互聯(lián)網(wǎng)用戶進(jìn)行信息檢索和過濾的主要工具，其重要地位日益明顯。然而，搜索引擎在對海量的互聯(lián)網(wǎng)信息進(jìn)行檢索的時候，尚不能很好的滿足用戶的檢索需求，時常返回與用戶檢索意圖無關(guān)的檢索記錄，致使檢索效率較低。 本文結(jié)合中文檢索中檢索詞本身及其使用方式的問題，闡述了基于查詢擴(kuò)展的信息檢索技術(shù)的意義。隨后，本文結(jié)合用戶的搜索行為特征，依據(jù)檢索詞之間的相似度關(guān)系對搜索日志的分析過程進(jìn)行建模，并將日志分

2、析的結(jié)果應(yīng)用于本文改進(jìn)的查詢擴(kuò)展模型中，以期解決檢索詞簡短、語義模糊時，檢索結(jié)果質(zhì)量較差的問題。主要包括以下三個方面： 1、基于檢索行為的日志分析模型。由于傳統(tǒng)HTTP會話模型時間跨度較大，一次會話中往往包含多個檢索主題。本文從用戶的檢索行為切入分析，依據(jù)檢索詞之間的相似度對HTTP會話進(jìn)行切分，并根據(jù)本文定義的會話相似度進(jìn)行會話聚合。隨后，通過對實(shí)際的搜索同志進(jìn)行分析，證明了基于檢索行為的日志分析模型更適合搜索日志中潛在用戶反

3、饋的提取。 2、查詢擴(kuò)展方法研究。本文首先討論并對比當(dāng)前主要的查詢擴(kuò)展方法，進(jìn)而考慮到歷史檢索詞是用戶檢索意圖的體現(xiàn)，網(wǎng)頁文檔的索引用詞是搜索引擎對網(wǎng)頁文檔的定位，本文改進(jìn)的查詢擴(kuò)展方法將二者依照詞頻概率進(jìn)行關(guān)聯(lián)，關(guān)聯(lián)后的結(jié)果集作為擴(kuò)展詞來源。同時，文中還分析了擴(kuò)展詞之間的權(quán)重分配問題。實(shí)驗(yàn)證明文中的查詢擴(kuò)展方法較其它方法有著更高的查準(zhǔn)率。 3、基于Nutch的原型系統(tǒng)設(shè)計與實(shí)現(xiàn)。本文在Apache軟件基金會開源項目Nu

4、tch的基礎(chǔ)上，實(shí)現(xiàn)了查詢擴(kuò)展模塊，改進(jìn)了Nutch的分詞器。查詢擴(kuò)展模塊的主要任務(wù)是依據(jù)擴(kuò)展詞詞典對原始檢索詞進(jìn)行擴(kuò)展；分詞器主要改進(jìn)了Nutch默認(rèn)的一元分詞法，使之更好的支持中文檢索。最后，通過實(shí)驗(yàn)對比了原型系統(tǒng)和Nutch的分詞效果以及首頁命中率。 本文以實(shí)際的搜索日志數(shù)據(jù)為基礎(chǔ)，以提高搜索引擎的檢索質(zhì)量為目標(biāo)。通過對HTTP會話的切分，過濾搜索日志中的無關(guān)數(shù)據(jù)，從而對搜索日志中潛在的用戶反饋信息進(jìn)行挖掘；在研究了當(dāng)前主