WEB日志數(shù)據(jù)挖掘的研究和實現(xiàn).pdf

1、隨著信息技術(shù)和計算機網(wǎng)絡(luò)技術(shù)的不斷成熟和發(fā)展,數(shù)據(jù)庫技術(shù)雖然已日漸成熟并被廣泛應(yīng)用,但其只是基本的信息存儲和管理的方式,大量有價值的數(shù)據(jù)被隱藏在數(shù)據(jù)中而不能被人所使用。數(shù)據(jù)挖掘作為一門新興的研究領(lǐng)域應(yīng)運而生。數(shù)據(jù)挖掘技術(shù)被稱為未來信息處理的主要技術(shù)之一。依據(jù)數(shù)據(jù)挖掘數(shù)據(jù)在Web中的數(shù)據(jù)源的不同,可以把Web挖掘分為Web結(jié)構(gòu)挖掘、WEB訪問信息挖掘、Web內(nèi)容挖掘。Web日志挖掘的過程一般分為三個階段:日志數(shù)據(jù)預(yù)處理、模式識別分析階段和

2、挖掘算法的實施。XML全稱為可擴展標(biāo)記語言,它以一種開放的、自我描述的方式定義數(shù)據(jù)結(jié)構(gòu),能夠明晰的對數(shù)據(jù)的結(jié)構(gòu)進行表示,從而體現(xiàn)出數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系,XML為異構(gòu)的數(shù)據(jù)源提供了一種統(tǒng)一結(jié)構(gòu)的描述方法。ID3算法是在數(shù)據(jù)挖掘技術(shù)中經(jīng)常使用的經(jīng)典算法,其主要應(yīng)用于分類挖掘的實現(xiàn)中,產(chǎn)生的總是最小的樹形結(jié)構(gòu),通過驗證實例證明本文設(shè)計的系統(tǒng)對日志文件的的事物分析具有很好的效果。本系統(tǒng)的主要創(chuàng)新之處即是在于采用XML規(guī)則文件技術(shù),對日志數(shù)據(jù)進行

3、預(yù)處理,進行規(guī)則的匹配。其具有很強的靈活性,表現(xiàn)在用戶可以根據(jù)自己的習(xí)慣偏好對XML規(guī)則文件進行配置,產(chǎn)生適合自身特點的日志規(guī)則,從而生成用戶感興趣的新的日志文件。在本設(shè)計系統(tǒng)可以創(chuàng)建六種針對不同的日志文件的規(guī)則:通用日志文件規(guī)則、syslog日志文件規(guī)則、Weblogic規(guī)則、log4j-xml規(guī)則、oracle-alter日志規(guī)則、jboss規(guī)則。根據(jù)不同的日志文件類型,本系統(tǒng)可以產(chǎn)生相對應(yīng)的規(guī)則文件。規(guī)則文件以XML格式存在,根據(jù)