基于Hadoop框架網(wǎng)絡(luò)用戶瀏覽器使用行為分析系統(tǒng)研究及實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)的快速發(fā)展和網(wǎng)絡(luò)用戶的急劇增加使得Web日志飛速增長(zhǎng)。如何從海量Web日志數(shù)據(jù)中挖掘出有用的信息不僅成為了當(dāng)前數(shù)據(jù)挖掘的熱點(diǎn)，而且也是擺在多數(shù)企業(yè)面前的難題。傳統(tǒng)基于單一節(jié)點(diǎn)的Web挖掘系統(tǒng)的存儲(chǔ)和計(jì)算能力早已不能有效處理規(guī)模龐大的Web日志數(shù)據(jù)。因此采用分布式存儲(chǔ)和計(jì)算已經(jīng)成為當(dāng)前Web日志挖掘發(fā)展的必然趨勢(shì)。Hadoop是當(dāng)前使用較為廣泛的分布式存儲(chǔ)和計(jì)算框架。Hadoop分布式計(jì)算框架的高可靠性、高擴(kuò)展性、高容錯(cuò)性等優(yōu)點(diǎn)使其

2、成為當(dāng)前海量數(shù)據(jù)處理的利器，在多個(gè)領(lǐng)域中得到了大規(guī)模應(yīng)用。
　　本論文運(yùn)用Hadoop分布式架構(gòu)和Web日志挖掘技術(shù)實(shí)現(xiàn)了一個(gè)網(wǎng)絡(luò)用戶瀏覽器使用行為分析系統(tǒng)。系統(tǒng)通過挖掘海量Web日志數(shù)據(jù)研究用戶瀏覽器使用行為，從而為網(wǎng)站開發(fā)者提供支持，輔助其處理瀏覽器兼容問題。論文的主要工作和工作成果如下:
　　(1)實(shí)現(xiàn)系統(tǒng)整體架構(gòu)設(shè)計(jì)。論文從目前課題研究的現(xiàn)實(shí)問題出發(fā)，結(jié)合Hadoop分布式架構(gòu)和Web日志挖掘技術(shù)，按照Web日志數(shù)據(jù)

3、挖掘的流程，設(shè)計(jì)了分布式數(shù)據(jù)存儲(chǔ)、分布式數(shù)據(jù)分析和數(shù)據(jù)展示三大功能模塊。
　　(2)實(shí)現(xiàn)Web日志數(shù)據(jù)的收集和預(yù)處理。Web日志數(shù)據(jù)是系統(tǒng)處理分析的數(shù)據(jù)源。本文主要通過頁面植入代碼的技術(shù)實(shí)現(xiàn)Web日志數(shù)據(jù)的收集，同時(shí)完成Web日志的預(yù)處理，確保日志中記錄的完整性。
　　(3)實(shí)現(xiàn)了并行編程模型的開發(fā)。論文根據(jù)收集上來Web日志數(shù)據(jù)的特點(diǎn)，編寫了Map和Reduce函數(shù)，使系統(tǒng)能聚焦到每條日志記錄中瀏覽器信息并且識(shí)別出瀏覽器類

4、型。
　　(4)完成了Hadoop分布式平臺(tái)的搭建。在配置好硬件和軟件環(huán)境的基礎(chǔ)上，論文完成了Hadoop環(huán)境配置和配置文件的編輯，成功搭建起了Hadoop分布式平臺(tái)。
　　(5)完成了系統(tǒng)性能測(cè)試和計(jì)算結(jié)果分析應(yīng)用。論文測(cè)試系統(tǒng)處理每M數(shù)據(jù)所用時(shí)間和集群加速兩大性能指標(biāo)，并且對(duì)系統(tǒng)測(cè)試得到的計(jì)算結(jié)果進(jìn)行了分析應(yīng)用，輔助網(wǎng)站開發(fā)者處理瀏覽器兼容問題。
　　系統(tǒng)性能測(cè)試結(jié)果表明論文中搭建起Hadoop分布式系統(tǒng)能夠有效處