基于聚類算法的WEB日志挖掘系統(tǒng)研究與應(yīng)用.pdf

1、隨著Internet技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)規(guī)模和用戶數(shù)量都不斷的膨脹。Internet以其多媒體的傳輸及良好的交互性已經(jīng)成為人們?nèi)粘Ｐ畔l(fā)布，娛樂和交流的一種重要手段。在這個(gè)分布式信息空間中蘊(yùn)涵著具有巨大潛在價(jià)值的知識(shí)，被廣泛應(yīng)用在經(jīng)濟(jì)、政治、教育、科研、醫(yī)療等各個(gè)領(lǐng)域。
　　 但是，它在給人們帶來豐富的信息和極大便利的同時(shí)，也隨之產(chǎn)生了一些亟待解決的問題。提供個(gè)性化的信息服務(wù)和構(gòu)建智能化Web 站點(diǎn)便是其中之一。分析和處理站點(diǎn)的

2、日志數(shù)據(jù)可以提供有效的知識(shí)用于實(shí)現(xiàn)這些功能。然而對(duì)于一個(gè)熱門的網(wǎng)站，其Web日志數(shù)據(jù)以每天幾十兆的速度增長(zhǎng)，人工分析和處理這些日志數(shù)據(jù)是不可能的。
　　 將傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)應(yīng)用于Web 服務(wù)器日志的挖掘，可以自動(dòng)的從用戶在Web站點(diǎn)上瀏覽行為的日志中提取用戶的訪問模式，如頻繁訪問路徑、頻繁訪問頁(yè)面、用戶聚類等。這些知識(shí)有助于網(wǎng)站設(shè)計(jì)者優(yōu)化站點(diǎn)拓?fù)浣Y(jié)構(gòu)，提供個(gè)性化、智能化服務(wù)以及提高網(wǎng)站的性能。
　　 在本課題的研究中，

3、筆者主要對(duì)Web日志挖掘進(jìn)行了研究。本文首先從傳統(tǒng)的數(shù)據(jù)挖掘引出Web 挖掘及Web日志挖掘的基本概念、方法和主要步驟；通過廣泛查閱相關(guān)資料、研究了Web日志挖掘算法，利用XML技術(shù)將網(wǎng)站的結(jié)構(gòu)和日志文件格式定義引入Web日志挖掘預(yù)處理過程以提高預(yù)處理的通用性和準(zhǔn)確性；在模式挖掘方面，集成了目前有效的最大向前路徑挖掘算法和頻繁遍歷路徑挖掘算法，并且將孤立點(diǎn)分析方法引入日志挖掘中。以此為基礎(chǔ)，筆者提出了通用Web日志挖掘系統(tǒng)模型，并通過實(shí)