基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用.pdf

1、數(shù)據(jù)是信息的載體，信息是數(shù)據(jù)的內(nèi)涵，一般認(rèn)為數(shù)據(jù)是信息系統(tǒng)的基礎(chǔ)。利用計(jì)算機(jī)來(lái)處理數(shù)據(jù)，提取信息是信息系統(tǒng)的基本功能。在當(dāng)今高度信息化的社會(huì)里，Web可以說(shuō)是目前最大的信息系統(tǒng)，其數(shù)據(jù)具有海量、多樣、異構(gòu)、動(dòng)態(tài)變化等特性。如何實(shí)現(xiàn)快速地從這些海量數(shù)據(jù)中提取出對(duì)企業(yè)有用的價(jià)值信息已成為程序員在開(kāi)發(fā)應(yīng)用軟件的過(guò)程中碰到的最令人頭疼的問(wèn)題。 基于這個(gè)問(wèn)題的出發(fā)點(diǎn)，本文在分析現(xiàn)有分布式儲(chǔ)存和計(jì)算等關(guān)鍵技術(shù)基礎(chǔ)上，結(jié)合對(duì)Hadoop的集群

2、技術(shù)的研究以及自身的業(yè)務(wù)需求和實(shí)際軟硬件實(shí)力，提出了一種基于Hadoop的海量數(shù)據(jù)處理模型，并從數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)、程序流程組織和編程技術(shù)的使用等幾個(gè)方面來(lái)介紹這個(gè)模型的開(kāi)發(fā)方法，最后將該模型應(yīng)用于大型網(wǎng)站的web日志數(shù)據(jù)預(yù)處理過(guò)程中。針對(duì)該模型我們還設(shè)計(jì)了一種有效的基于分布式的預(yù)處理模式。該模式首先在各分布式服務(wù)器上進(jìn)行關(guān)聯(lián)匹配，然后將各個(gè)服務(wù)器上的挖掘結(jié)果合成。這有利于減輕網(wǎng)絡(luò)頻繁的通訊負(fù)擔(dān)，體現(xiàn)并行計(jì)算、異步挖掘、異構(gòu)數(shù)據(jù)規(guī)約的優(yōu)勢(shì)。同

3、時(shí)，它允許程序員可以不需要有什么并發(fā)處理或者分布式系統(tǒng)的經(jīng)驗(yàn)，就可以處理超大的分布式系統(tǒng)得資源。除了數(shù)據(jù)挖掘之外，該模型還可以應(yīng)用在諸如圖片存儲(chǔ)、搜索引擎、網(wǎng)格計(jì)算等需要處理大數(shù)據(jù)量的網(wǎng)絡(luò)應(yīng)用中。 本課題的特點(diǎn)是將研究的模型與實(shí)際業(yè)務(wù)應(yīng)用相結(jié)合，利用前沿的分布式框架技術(shù)來(lái)很好的滿足項(xiàng)目的需求，并將模型部署到實(shí)例當(dāng)中，用實(shí)驗(yàn)結(jié)果來(lái)檢驗(yàn)?zāi)Ｐ偷膶?shí)用價(jià)值，比如高效率、低成本、可拓展性和易維護(hù)性等。在與原來(lái)的預(yù)處理系統(tǒng)相融合的基礎(chǔ)上，我們