云計算技術(shù)在web日志挖掘中的應用研究.pdf

1、如何解決數(shù)據(jù)挖掘中海量數(shù)據(jù)處理的問題一直是數(shù)據(jù)挖掘領(lǐng)域一個非常重要的研究課題。尤其是隨著網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，web上的數(shù)據(jù)正以指數(shù)級形式飛速增長，且web上的數(shù)據(jù)具有海量、多樣、異構(gòu)、動態(tài)變化等特點，這使得基于單一節(jié)點的集中式數(shù)據(jù)挖掘平臺已經(jīng)不能滿足目前海量數(shù)據(jù)網(wǎng)絡(luò)的分析任務了。如何實現(xiàn)快速地從web 這個最大的數(shù)據(jù)集合中提取出有用的信息已成為數(shù)據(jù)挖掘領(lǐng)域一個備受國內(nèi)外學者關(guān)注的課題。
　　 云計算正是產(chǎn)生于這樣的背景之下，它的

2、出現(xiàn)給海量數(shù)據(jù)的處理和存儲帶來了曙光。同時，云計算只需要部署在普通的廉價計算機集群上即可運行，但是數(shù)據(jù)處理能力卻很強，因此Web數(shù)據(jù)挖掘系統(tǒng)在云計算集群框架下的成功實行具有很重要的意義和應用價值。
　　 本文在Hadoop 平臺上，結(jié)合web日志挖掘的特點，給出了一種基于云計算的web日志挖掘系統(tǒng)的設(shè)計方案，并對該系統(tǒng)的各個功能模塊進行了詳細的闡述。同時，針對目前從web日志中挖掘用戶偏愛路徑的算法注重客觀訪問頻度，而忽略用戶對

3、這一頻繁訪問路徑是否感興趣的不足，結(jié)合網(wǎng)站拓撲結(jié)構(gòu)圖修正基于頻度的用戶偏愛路徑的衡量標準，提出了有用偏愛度的概念，給出了一個挖掘用戶瀏覽偏愛路徑的方法，從而剔除了由于頁面放置和鏈接等因素對挖掘的影響。
　　 最后對本文給出的改進算法的有效性以及云計算平臺的高效性進行了實驗比較分析。實驗結(jié)果表明，改進后的挖掘用戶偏愛瀏覽路徑的算法更能反映用戶的瀏覽意圖。同時，利用云計算平臺，通過“云”中多個資源完成原先由一個節(jié)點承擔的工作，無論是