基于日志的校園網用戶興趣挖掘系統(tǒng)的設計與實現(xiàn).pdf

1、代理服務器是局域網用戶上網的必由之路,其日志記錄著每一個用戶的上網歷史痕跡。研究證明,長期連續(xù)的網絡日志中蘊含著上網用戶的某些固有的特征,這些特征不會因用戶離開網絡而消失。人的興趣就屬于這種特征。
　　本文研究和開發(fā)一套系統(tǒng),該系統(tǒng)主要為單位管理部門服務,能為管理者提供下屬員工的興趣類型和最新關注點狀況。該系統(tǒng)的工作流程為:從代理日志出發(fā),提取出用戶上網的URL,根據(jù)URL獲取相應的網頁源代碼,從源代碼中提取出正文文本,對文本進行

2、中文分詞,在分詞中抽取出詞匯,利用詞匯進行文本分類,最后根據(jù)分類結果和相關詞匯確定用戶興趣模型。用戶興趣模型采用樹型分層結構,能仿照人類記憶的遺忘規(guī)律進行更新和優(yōu)化,使用的時間越長越能準確反映用戶的興趣特征。本研究包括下面七個環(huán)節(jié)：日志清理、網頁源代碼獲取、網頁正文提取、網頁中文分詞、網頁詞提取、文本分類和興趣建模。在網頁詞提取和文本分類環(huán)節(jié),重點探討了TFIDF算法和樸素貝葉斯分類算法在SQL SERVER數(shù)據(jù)庫中的實現(xiàn);在興趣建模環(huán)

3、節(jié),引入了遺忘機制,著重研究了模型的遺忘和更新方法。本研究特點有：①研究的用戶興趣范圍更寬。本文研究使用的數(shù)據(jù)源采用局域網代理服務器日志,而個性化服務的興趣研究多采用Web服務器日志,兩者最大的區(qū)別是前者記錄的是局域網用戶訪問互聯(lián)網所有Web站點的行為,而后者記錄的只是互聯(lián)網用戶訪問該網站的行為。對單個用戶來說,前者研究的用戶興趣面更寬；②研究的用戶興趣可具體到個人。本文提出的興趣挖掘系統(tǒng)面向的用戶是校園網內的所有員工,用戶是相對穩(wěn)定的