面向多站點Web日志挖掘中的數(shù)據(jù)采集與預處理技術研究.pdf

1、隨著互聯(lián)網(wǎng)和信息技術的快速發(fā)展，特別是Web的全球普及，使得Web上的用戶數(shù)目和信息量都在不斷地增加。這樣就產生了兩方面的主要問題：一方面是如何讓站點提供者通過分析用戶的瀏覽行為，發(fā)現(xiàn)用戶的瀏覽模式和興趣愛好，并為其提供個性化推薦，以獲得更多的用戶青睞和商業(yè)價值。另一方面是如何讓用戶能夠及時地從海量的信息中獲取到感興趣的、有價值的信息，從而降低信息過載帶來的迷航問題，提高信息檢索效率。通過將數(shù)據(jù)挖掘技術應用于Web日志挖掘，并根據(jù)不同挖

2、掘應用的需求和Web日志的特性，對傳統(tǒng)方法進行擴展和改進，可以解決這些問題。
　　 要進行Web日志挖掘首先要采集相關的日志數(shù)據(jù)并對其進行預處理。傳統(tǒng)的Web日志挖掘的數(shù)據(jù)采集一般在服務器端、客戶端、應用服務器端和代理服務器端進行。不同的數(shù)據(jù)采集方法不僅在數(shù)據(jù)源位置方面不同，而且在可用數(shù)據(jù)的種類、被收集的數(shù)據(jù)段和其實現(xiàn)方面都不盡相同。數(shù)據(jù)預處理主要是通過數(shù)據(jù)清理和用戶識別等操作，將能夠精確反映用戶瀏覽行為的數(shù)據(jù)提取出來并轉換為挖

3、掘算法可識別的格式，其結果直接關系到后續(xù)挖掘的質量。數(shù)據(jù)采集和預處理這兩方面的工作占據(jù)了Web日志挖掘的很大一部分，是Web日志挖掘的基礎和關鍵，也是Web日志挖掘研究的重難點。
　　 通常的數(shù)據(jù)采集和預處理都是面向單站點環(huán)境進行，而本文則是面向多站點的Web日志挖掘，因此已有的數(shù)據(jù)采集方法就不再適合。為了能夠采集到多站點下的用戶瀏覽行為數(shù)據(jù)，本文提出了一種通過捕獲HTTP協(xié)議數(shù)據(jù)包的網(wǎng)絡嗅探采集方式。同時，面向多站點環(huán)境下采集

4、到的數(shù)據(jù)由于具有海量、多樣、異構、動態(tài)變化等特性，數(shù)據(jù)預處理工作也就不同于以往，特別是增加了數(shù)據(jù)清理的難度。針對這一問題，通過分析HTTP請求的特點本文提出了一種基于頁面引用和時間關系的數(shù)據(jù)清理方法。
　　 最后，在局域網(wǎng)平臺上通過多次實驗來考察本文提出的網(wǎng)絡嗅探數(shù)據(jù)采集方法和基于引用和時間關系的數(shù)據(jù)清理方法的有效性。采用精確率、召回率和F度量值等指標分析實驗數(shù)據(jù)。結果表明本文提出的面向多站點下的數(shù)據(jù)采集和預處理方法是有效可行的