基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用.pdf

1、數(shù)據(jù)是信息的載體，信息是數(shù)據(jù)的內(nèi)涵，一般認(rèn)為數(shù)據(jù)是信息系統(tǒng)的基礎(chǔ)。利用計算機來處理數(shù)據(jù)，提取信息是信息系統(tǒng)的基本功能。在當(dāng)今高度信息化的社會里，Web可以說是目前最大的信息系統(tǒng)，其數(shù)據(jù)具有海量、多樣、異構(gòu)、動態(tài)變化等特性。如何實現(xiàn)快速地從這些海量數(shù)據(jù)中提取出對企業(yè)有用的價值信息已成為程序員在開發(fā)應(yīng)用軟件的過程中碰到的最令人頭疼的問題。 基于這個問題的出發(fā)點，本文在分析現(xiàn)有分布式儲存和計算等關(guān)鍵技術(shù)基礎(chǔ)上，結(jié)合對Hadoop的集群

2、技術(shù)的研究以及自身的業(yè)務(wù)需求和實際軟硬件實力，提出了一種基于Hadoop的海量數(shù)據(jù)處理模型，并從數(shù)據(jù)結(jié)構(gòu)設(shè)計、程序流程組織和編程技術(shù)的使用等幾個方面來介紹這個模型的開發(fā)方法，最后將該模型應(yīng)用于大型網(wǎng)站的web日志數(shù)據(jù)預(yù)處理過程中。針對該模型我們還設(shè)計了一種有效的基于分布式的預(yù)處理模式。該模式首先在各分布式服務(wù)器上進行關(guān)聯(lián)匹配，然后將各個服務(wù)器上的挖掘結(jié)果合成。這有利于減輕網(wǎng)絡(luò)頻繁的通訊負擔(dān)，體現(xiàn)并行計算、異步挖掘、異構(gòu)數(shù)據(jù)規(guī)約的優(yōu)勢。同

3、時，它允許程序員可以不需要有什么并發(fā)處理或者分布式系統(tǒng)的經(jīng)驗，就可以處理超大的分布式系統(tǒng)得資源。除了數(shù)據(jù)挖掘之外，該模型還可以應(yīng)用在諸如圖片存儲、搜索引擎、網(wǎng)格計算等需要處理大數(shù)據(jù)量的網(wǎng)絡(luò)應(yīng)用中。 本課題的特點是將研究的模型與實際業(yè)務(wù)應(yīng)用相結(jié)合，利用前沿的分布式框架技術(shù)來很好的滿足項目的需求，并將模型部署到實例當(dāng)中，用實驗結(jié)果來檢驗?zāi)Ｐ偷膶嵱脙r值，比如高效率、低成本、可拓展性和易維護性等。在與原來的預(yù)處理系統(tǒng)相融合的基礎(chǔ)上，我們