基于XML和關(guān)聯(lián)規(guī)則的Web日志挖掘研究.pdf

1、隨著信息技術(shù)的迅速發(fā)展和Internet的普及，Web日志資源越來(lái)越豐富。如何充分利用這些資源，從中提取出用戶所感興趣的信息數(shù)據(jù)，是當(dāng)前計(jì)算機(jī)領(lǐng)域的一大挑戰(zhàn)。Web日志挖掘就是利用數(shù)據(jù)挖掘的思想對(duì)經(jīng)過(guò)處理的服務(wù)器日志進(jìn)行挖掘，其研究目的在于發(fā)現(xiàn)用戶瀏覽網(wǎng)站的行為規(guī)律，改善站點(diǎn)的結(jié)構(gòu)和頁(yè)面間超鏈接結(jié)構(gòu)，提高站點(diǎn)服務(wù)質(zhì)量以及提供在電子商務(wù)中的決策支持。 本文主要從以下五個(gè)方面對(duì)Web日志挖掘進(jìn)行了系統(tǒng)研究。第一，對(duì)Web挖掘、Web

2、日志挖掘的定義、分類和過(guò)程進(jìn)行了概述，闡述了本文的研究背景、Web日志挖掘的研究現(xiàn)狀和面臨的問(wèn)題；第二，介紹了XML技術(shù)及其在Web日志挖掘中的應(yīng)用；第三，結(jié)合XML的優(yōu)勢(shì)和Web日志數(shù)據(jù)的半結(jié)構(gòu)化特點(diǎn)，提出了一種基于XML文檔存儲(chǔ)的Web日志挖掘系統(tǒng)模型，并具體地分析了Web日志挖掘預(yù)處理過(guò)程；第四，詳細(xì)介紹了XML模式與關(guān)系模式映射方法，并用代碼具體實(shí)現(xiàn)了其中的一種XML格式的文檔在關(guān)系數(shù)據(jù)庫(kù)中的存儲(chǔ)方法；第五，對(duì)關(guān)聯(lián)規(guī)則挖掘理論特

3、別是關(guān)聯(lián)規(guī)則挖掘算法進(jìn)行了研究。 關(guān)聯(lián)規(guī)則挖掘算法中，很多算法都基于Apnori算法進(jìn)行計(jì)算。本文對(duì)Apriori算法進(jìn)行了分析研究，針對(duì)該算法的不足提出了一種優(yōu)化改進(jìn)算法Apriori_SQLBit，從三個(gè)方面考慮對(duì)算法進(jìn)行改進(jìn)：(1)根據(jù)用戶瀏覽頁(yè)面的時(shí)間，構(gòu)建了用戶瀏覽興趣度權(quán)值。在產(chǎn)生頻繁項(xiàng)集時(shí)，采用了加權(quán)的支持度和可信度，這樣挖掘出的關(guān)聯(lián)規(guī)則將更符合用戶興趣；(2)降低候選項(xiàng)集中Gk候選項(xiàng)的數(shù)量。利用頻繁(k-1)-項(xiàng)

4、集Lk-1產(chǎn)生Gk之前先對(duì)Lk-1進(jìn)行一次裁剪，從而減少候選項(xiàng)集，裁剪的依據(jù)是，在Lk-1中，如果某子項(xiàng)的加權(quán)支持度小于最小加權(quán)支持度，則該項(xiàng)不可能是頻繁k-項(xiàng)集Lk的項(xiàng)；(3)采用位圖權(quán)值格式來(lái)存儲(chǔ)事務(wù)數(shù)據(jù)項(xiàng)集，能方便地進(jìn)行支持度的計(jì)算。 為了驗(yàn)證改進(jìn)的算法是行之有效的，本文選擇了兩個(gè)數(shù)據(jù)庫(kù)作為試驗(yàn)：酷秀網(wǎng)(http://www.kuxiu.com)的用戶訪問(wèn)日志和浙江理工大學(xué)校慶網(wǎng)(http://xq110.zstu.edu