基于搜索日志的用戶行為研究及應(yīng)用.pdf

1、搜索引擎的出現(xiàn)，成為互聯(lián)網(wǎng)發(fā)展史上又一個重要的里程碑。越來越多的互聯(lián)網(wǎng)用戶開始選擇搜索引擎作為其獲得網(wǎng)絡(luò)資源的首選工具。但是搜索引擎的表現(xiàn)并不總是盡如人意，很多時候當(dāng)用戶輸入一個查詢，搜索引擎返回成千上萬個搜索結(jié)果，然而很少有用戶愿意瀏覽三頁以上的搜索結(jié)果。此外，由于用戶的水平存在較大差異，不少用戶構(gòu)造的查詢并不能完全表達(dá)其搜索意圖。對搜索日志的挖掘能夠有效的解決這一系列問題。本文著眼于搜索日志的分析和應(yīng)用，主要對用戶搜索行為模型、搜索

2、行為分類、網(wǎng)頁排序算法的優(yōu)化、異常搜索行為的檢測等問題進行研究，論文工作主要包括以下幾個方面： (1)對搜索日志進行基本分析，包括搜索日志各個屬性及其相互之間的關(guān)系，發(fā)現(xiàn)了大規(guī)模中文搜索引擎用戶的一些基本搜索特征。首次引入了中文分詞算法，使關(guān)于查詢詞的分析結(jié)果更接近中文搜索引擎實際情況。首次分析了網(wǎng)頁URL深度和被點擊次數(shù)的關(guān)系，并根據(jù)對不同時期搜索日志的分析，發(fā)現(xiàn)了中文搜索引擎用戶的搜索行為變化趨勢。 (2)分別從抽象

3、和具體的角度對用戶的搜索行為進行了分類。首次從搜索日志中提取用戶搜索行為模型，并從抽象的角度概括用戶搜索行為的各種表現(xiàn)形式。通過網(wǎng)頁分類的相似性及網(wǎng)頁向量的相似性對模型進行了校正。為基于搜索行為的相關(guān)研究提供了基礎(chǔ)。引入了歷史查詢分析，并計算了歷史查詢的影響因子。 (3)提出了一種基于預(yù)定義類別的搜索分類算法，將基于樸素貝葉斯理論的網(wǎng)頁分類技術(shù)和用戶搜索日志相結(jié)合，使搜索分類能夠體現(xiàn)用戶的搜索意圖，并且克服了因查詢詞過短以及詞語

4、多義性導(dǎo)致的分類誤差．將實時搜索歷史應(yīng)用于搜索分類，提高了分類的準(zhǔn)確率。 (4)提出了一種網(wǎng)頁排序優(yōu)化算法。該算法在原有網(wǎng)頁排序結(jié)果的基礎(chǔ)上，結(jié)合用戶搜索日志，采用混合頻繁模式樹算法，能夠有效發(fā)現(xiàn)搜索事務(wù)的關(guān)聯(lián)規(guī)則，并對查詢詞進行擴展。選擇對原排序結(jié)果的前N個網(wǎng)頁進行優(yōu)化排序，既保證了搜索結(jié)果的相關(guān)性和覆蓋率，同時使排序結(jié)果更能夠體現(xiàn)用戶的搜索需求。此外，將用戶搜索行為模型應(yīng)用于網(wǎng)頁排序優(yōu)化算法，通過計算歷史查詢詞的影響因子，使