基于Sogou日志的個(gè)性化信息檢索分析與建模.pdf

1、隨著網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)資源呈現(xiàn)突飛猛進(jìn)的增長(zhǎng)，這給WEB用戶帶來(lái)了諸多不便，搜索引擎應(yīng)運(yùn)而生。然而不同背景、不同目的、不同時(shí)期的用戶的信息需求往往是不同的，搜索引擎面對(duì)不同的用戶都會(huì)給出相同的檢索結(jié)果，這顯然不能很好的滿足用戶的信息需求。個(gè)性化的信息檢索技術(shù)被認(rèn)為是解決該問(wèn)題的重要技術(shù)。個(gè)性化信息檢索技術(shù)將根據(jù)用戶的興趣給出相應(yīng)的檢索結(jié)果，可以最大限度的滿足用戶的信息需求。本文圍繞個(gè)性化信息檢索進(jìn)行了以下三個(gè)方面的研究：
　　本文的

2、主要研究?jī)?nèi)容：
　　1.個(gè)性化潛力分析。對(duì)于同一個(gè)查詢?cè)~，不同的用戶對(duì)信息的需求往往是不同的，我們將用戶的需求差異稱為查詢?cè)~的個(gè)性化潛力。本文采用Kappa一致性檢驗(yàn)衡量查詢?cè)~的個(gè)性化潛力，并且對(duì)查詢?cè)~的個(gè)性化潛力分布進(jìn)行了分析。查詢?cè)~的個(gè)性化潛力分布表明絕大多數(shù)查詢?cè)~的個(gè)性化潛力較大，這也告訴人們從事個(gè)性化信息檢索研究的必要性。
　　2.實(shí)驗(yàn)數(shù)據(jù)加工算法。個(gè)性化信息檢索研究面臨的一個(gè)較大的障礙是缺乏真實(shí)有效的實(shí)驗(yàn)數(shù)據(jù)，針對(duì)

3、該現(xiàn)象，本文提出了依據(jù)Sogou日志從網(wǎng)絡(luò)上獲取真實(shí)的WEB數(shù)據(jù)。網(wǎng)絡(luò)資源雖然豐富但卻充斥著很多垃圾信息，必須將這些垃圾信息過(guò)濾掉。為此，本文對(duì)數(shù)據(jù)加工算法進(jìn)行了相應(yīng)的研究，提出了主動(dòng)學(xué)習(xí)算法和基于Co-training的主動(dòng)學(xué)習(xí)算法用于數(shù)據(jù)加工。實(shí)驗(yàn)表明基于規(guī)則和邏輯回歸的Co-training算法不僅性能最優(yōu)，而且可以在很大程度上節(jié)省數(shù)據(jù)加工過(guò)程中需要的人工工作量。本文將該方法應(yīng)用于WEB數(shù)據(jù)加工，并且得到了一個(gè)可以支持個(gè)性化信息檢