Web日志挖掘技術(shù)研究與應(yīng)用.pdf

1、隨著Internet的普及和計(jì)算機(jī)技術(shù)的發(fā)展，網(wǎng)絡(luò)用戶(hù)的規(guī)模越來(lái)越大，用戶(hù)訪問(wèn)網(wǎng)絡(luò)的行為也變的越來(lái)越多樣化和復(fù)雜化。網(wǎng)絡(luò)在電子商務(wù)、提供在線(xiàn)服務(wù)和信息搜索等方面得到了廣泛的應(yīng)用。許多商業(yè)網(wǎng)站都在不斷提高服務(wù)質(zhì)量、網(wǎng)站性能和競(jìng)爭(zhēng)力以便吸引更多的客戶(hù)。那么如何提高站點(diǎn)服務(wù)性能、改進(jìn)站點(diǎn)結(jié)構(gòu)和提供個(gè)性化服務(wù)?為解決這些問(wèn)題，研究人員提出了Web日志挖掘，它是目前研究比較多的一個(gè)研究方向。日志挖掘的主要數(shù)據(jù)源來(lái)自服務(wù)器端的日志數(shù)據(jù)，對(duì)其進(jìn)行預(yù)處

2、理和模式挖掘從而得到用戶(hù)的訪問(wèn)模式，進(jìn)而可以了解群體用戶(hù)的訪問(wèn)模式和興趣，為站點(diǎn)結(jié)構(gòu)優(yōu)化和用戶(hù)個(gè)性化服務(wù)提供決策支持。
　　 通過(guò)對(duì)大量文獻(xiàn)資料的學(xué)習(xí)和分析，本文對(duì)Web日志挖掘預(yù)處理階段中的關(guān)鍵步驟進(jìn)行研究并提出了相應(yīng)的算法；本文還針對(duì)K-means算法的缺陷，提出了改進(jìn)算法，并將其應(yīng)用到Web日志挖掘中。
　　 本文首先介紹了當(dāng)前國(guó)內(nèi)外研究現(xiàn)狀，接著在第2章介紹了數(shù)據(jù)挖掘概念和Web挖掘等內(nèi)容。
　　 其次重

3、點(diǎn)詳細(xì)介紹了Web日志挖掘預(yù)處理中的數(shù)據(jù)清洗、用戶(hù)識(shí)別、會(huì)話(huà)識(shí)別、路徑補(bǔ)充和事務(wù)識(shí)別五個(gè)關(guān)鍵步驟。因?yàn)轭A(yù)處理后數(shù)據(jù)的準(zhǔn)確性將直接影響到數(shù)據(jù)挖掘的效果，所以對(duì)日志數(shù)據(jù)的預(yù)處理是很有必要的。本文第3章對(duì)當(dāng)前預(yù)處理中的數(shù)據(jù)清洗、用戶(hù)識(shí)別和事務(wù)識(shí)別三個(gè)關(guān)鍵步驟進(jìn)行了詳細(xì)的分析和研究，提出了數(shù)據(jù)清洗、用戶(hù)識(shí)別和事務(wù)識(shí)別三個(gè)設(shè)計(jì)算法。用戶(hù)識(shí)別算法結(jié)合了時(shí)間閾值，識(shí)別的用戶(hù)更加符合實(shí)際，并且能夠識(shí)別出更多的用戶(hù)；根據(jù)日志記錄的請(qǐng)求頁(yè)和參引頁(yè)間的鏈接關(guān)

4、系，再結(jié)合時(shí)間閾值設(shè)計(jì)出了新的事務(wù)識(shí)別算法，該算法能夠識(shí)別出很多有意義的事務(wù)。
　　 最后介紹了聚類(lèi)分析，重點(diǎn)研究了K-means算法，針對(duì)K-means算法的初始聚類(lèi)中心隨機(jī)選擇的缺陷，第4章設(shè)計(jì)了改進(jìn)的K-means算法，該算法結(jié)合層次聚類(lèi)算法AGNES，得到密度比較高的k個(gè)初始聚類(lèi)中心，經(jīng)實(shí)驗(yàn)驗(yàn)證準(zhǔn)確率明顯得到提高，迭代次數(shù)減小。本文還將改進(jìn)算法應(yīng)用到Web日志挖掘中，進(jìn)行用戶(hù)聚類(lèi)從而得到群體用戶(hù)的需求，為網(wǎng)站優(yōu)化和個(gè)性化