MapReduce在Web日志挖掘中的應(yīng)用.pdf

1、隨著Internet的迅猛發(fā)展與互聯(lián)網(wǎng)用戶(hù)的快速增加，Internet上的數(shù)據(jù)也呈爆炸式的增長(zhǎng)。對(duì)于互聯(lián)網(wǎng)提供商來(lái)說(shuō)，這些海量數(shù)據(jù)中隱藏著大量有用的信息和知識(shí)，而這些信息和知識(shí)對(duì)分析用戶(hù)的各項(xiàng)需求和評(píng)估產(chǎn)品的效果有著重要的意義。但是長(zhǎng)期以來(lái)，海量數(shù)據(jù)的分析和處理都是一個(gè)艱巨而復(fù)雜的任務(wù)，高速準(zhǔn)確的從這些海量數(shù)據(jù)中挖掘出有用的信息和知識(shí)，可以讓互聯(lián)網(wǎng)提供商在激烈的商業(yè)競(jìng)爭(zhēng)中占領(lǐng)先機(jī)，從而獲取商業(yè)上的成功與經(jīng)濟(jì)利益。
　　在這些需要處

2、理的海量信息中包括了存儲(chǔ)于網(wǎng)站服務(wù)器上的用戶(hù)訪問(wèn)Web頁(yè)面的日志記錄，從這些日志記錄中分析和發(fā)現(xiàn)用戶(hù)訪問(wèn)的規(guī)律和模式對(duì)互聯(lián)網(wǎng)提供商有著重要的意義，它可以使Web站點(diǎn)的結(jié)構(gòu)更為合理，更好的面向用戶(hù)提供有針對(duì)性商業(yè)服務(wù)，優(yōu)化用戶(hù)體驗(yàn)。但是存在于這些日志中龐大的數(shù)據(jù)量和信息已經(jīng)不是傳統(tǒng)單機(jī)串行方式能夠應(yīng)對(duì)的了，這樣一項(xiàng)新興的技術(shù)-云計(jì)算進(jìn)入了大家的視野。云計(jì)算作為一項(xiàng)新興的技術(shù)，是網(wǎng)格計(jì)算、分布式計(jì)算、并行計(jì)算等技術(shù)相互融合的產(chǎn)物，它旨在將眾

3、多較為低端的計(jì)算實(shí)體整合為一個(gè)完美的系統(tǒng)，因而被眾多IT巨頭所看重，稱(chēng)為未來(lái)IT技術(shù)發(fā)展的一個(gè)重要方向。
　　MapReduce編程模型作為云計(jì)算中的一項(xiàng)核心技術(shù)，是Google公司于2004年提出的，它提供了一系列簡(jiǎn)單而有強(qiáng)大的接口，通過(guò)這些接口，可以把大尺度的計(jì)算自動(dòng)并發(fā)和分布執(zhí)行，從而實(shí)現(xiàn)大規(guī)模分布式并行計(jì)算。Hadoop作為MapReduce的開(kāi)源實(shí)現(xiàn)，一經(jīng)推出就引起了廣大IT廠商的注意，并得到了廣泛的應(yīng)用，具有很高的商業(yè)

4、價(jià)值與應(yīng)用前景。
　　本文介紹了Web日志挖掘的整個(gè)過(guò)程，并對(duì)Hadoop平臺(tái)相關(guān)技術(shù)與開(kāi)發(fā)方法進(jìn)行探討，詳細(xì)介紹了Hadoop分布式文件系統(tǒng)HDFS與Hadoop中的MapReduce框架，在前文的基礎(chǔ)上對(duì)關(guān)聯(lián)規(guī)則挖掘算法的重點(diǎn)研究。在通過(guò)研究了幾種傳統(tǒng)串行、并行關(guān)聯(lián)規(guī)則算法，分析各自的優(yōu)缺點(diǎn)之后，針對(duì)MapReduce編程模型的特點(diǎn)設(shè)計(jì)改進(jìn)了基于劃分的AprioriTid算法。在文章的最后，實(shí)現(xiàn)了基于Hadoop平臺(tái)的Web日