基于XML和關聯(lián)規(guī)則的Web日志挖掘研究.pdf

1、隨著信息技術的迅速發(fā)展和Internet的普及，Web日志資源越來越豐富。如何充分利用這些資源，從中提取出用戶所感興趣的信息數(shù)據(jù)，是當前計算機領域的一大挑戰(zhàn)。Web日志挖掘就是利用數(shù)據(jù)挖掘的思想對經過處理的服務器日志進行挖掘，其研究目的在于發(fā)現(xiàn)用戶瀏覽網站的行為規(guī)律，改善站點的結構和頁面間超鏈接結構，提高站點服務質量以及提供在電子商務中的決策支持。 本文主要從以下五個方面對Web日志挖掘進行了系統(tǒng)研究。第一，對Web挖掘、Web

2、日志挖掘的定義、分類和過程進行了概述，闡述了本文的研究背景、Web日志挖掘的研究現(xiàn)狀和面臨的問題；第二，介紹了XML技術及其在Web日志挖掘中的應用；第三，結合XML的優(yōu)勢和Web日志數(shù)據(jù)的半結構化特點，提出了一種基于XML文檔存儲的Web日志挖掘系統(tǒng)模型，并具體地分析了Web日志挖掘預處理過程；第四，詳細介紹了XML模式與關系模式映射方法，并用代碼具體實現(xiàn)了其中的一種XML格式的文檔在關系數(shù)據(jù)庫中的存儲方法；第五，對關聯(lián)規(guī)則挖掘理論特

3、別是關聯(lián)規(guī)則挖掘算法進行了研究。 關聯(lián)規(guī)則挖掘算法中，很多算法都基于Apnori算法進行計算。本文對Apriori算法進行了分析研究，針對該算法的不足提出了一種優(yōu)化改進算法Apriori_SQLBit，從三個方面考慮對算法進行改進：(1)根據(jù)用戶瀏覽頁面的時間，構建了用戶瀏覽興趣度權值。在產生頻繁項集時，采用了加權的支持度和可信度，這樣挖掘出的關聯(lián)規(guī)則將更符合用戶興趣；(2)降低候選項集中Gk候選項的數(shù)量。利用頻繁(k-1)-項

4、集Lk-1產生Gk之前先對Lk-1進行一次裁剪，從而減少候選項集，裁剪的依據(jù)是，在Lk-1中，如果某子項的加權支持度小于最小加權支持度，則該項不可能是頻繁k-項集Lk的項；(3)采用位圖權值格式來存儲事務數(shù)據(jù)項集，能方便地進行支持度的計算。 為了驗證改進的算法是行之有效的，本文選擇了兩個數(shù)據(jù)庫作為試驗：酷秀網(http://www.kuxiu.com)的用戶訪問日志和浙江理工大學校慶網(http://xq110.zstu.edu