小文件處理及算法并行化在Hadoop上的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著社會(huì)信息化進(jìn)程的不斷加速，各公司企業(yè)積累了大量的數(shù)據(jù)資料，尤其是小文件的數(shù)據(jù)量更是增長(zhǎng)迅速。面對(duì)海量小文件數(shù)據(jù)，傳統(tǒng)的單機(jī)系統(tǒng)既無(wú)法滿(mǎn)足存儲(chǔ)能力的需求，也無(wú)法進(jìn)行高效的分析計(jì)算。為了解決單機(jī)系統(tǒng)面臨的難題，各種分布式系統(tǒng)逐漸被應(yīng)用到海量數(shù)據(jù)處理中來(lái)。Apache公司開(kāi)發(fā)的Hadoop是一個(gè)優(yōu)秀的分布式平臺(tái)，它的分布式文件系統(tǒng) HDFS與分布式編程模型MapReduce分別為數(shù)據(jù)的存儲(chǔ)和計(jì)算提供了有力支持，基于Hadoop的數(shù)據(jù)處理系

2、統(tǒng)也得到了廣泛研究。但是，Hadoop起初是為了處理大型日志文件而設(shè)計(jì)的，它在存儲(chǔ)海量小文件時(shí)的性能并不好，因此，在面向海量小文件的數(shù)據(jù)處理系統(tǒng)中，需要研究的第一個(gè)問(wèn)題就是如何對(duì)Hadoop進(jìn)行優(yōu)化，以便高效地存儲(chǔ)這些數(shù)據(jù)文件。然而，存儲(chǔ)僅僅是系統(tǒng)要做的第一步工作，還需要對(duì)數(shù)據(jù)進(jìn)行計(jì)算，如何基于Hadoop對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，挖掘數(shù)據(jù)中的潛在價(jià)值，也是一個(gè)需要研究的問(wèn)題。
　　本文深入分析了HDFS、MapReduce的工作原理，

3、結(jié)合海量小文件處理系統(tǒng)的需求，對(duì)基于Hadoop的海量小文件處理系統(tǒng)中的數(shù)據(jù)存儲(chǔ)與分析計(jì)算這兩項(xiàng)關(guān)鍵技術(shù)進(jìn)行了研究，主要完成了如下工作：
　?、傺芯苛薍adoop存儲(chǔ)海量小文件的不足，提出了一種在存儲(chǔ)之前對(duì)小文件進(jìn)行合并的策略，該方法采用Hadoop自帶的歸檔工具對(duì)小文件進(jìn)行合并，有效提升系統(tǒng)存儲(chǔ)小文件的性能，此外，合并后的文件可以直接作為MapReduce任務(wù)的輸入數(shù)據(jù)，非常便于系統(tǒng)進(jìn)行后續(xù)的分析處理。
　?、谠趯?duì)小文件進(jìn)

4、行合并存儲(chǔ)的基礎(chǔ)之上，研究了經(jīng)典數(shù)據(jù)挖掘算法在Hadoop上的并行化實(shí)現(xiàn)方法，針對(duì)數(shù)據(jù)分析中經(jīng)常用到的聚類(lèi)分析與頻繁模式挖掘這兩項(xiàng)技術(shù)，分別選取了K-均值算法和FP-Growth算法進(jìn)行基于 Hadoop的并行化設(shè)計(jì)與實(shí)現(xiàn)。
　?、圩詈?，搭建了Hadoop的實(shí)驗(yàn)平臺(tái)，對(duì)這兩項(xiàng)關(guān)鍵技術(shù)進(jìn)行了仿真實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文提出的先合并后存儲(chǔ)的方法能夠有效提高系統(tǒng)存儲(chǔ)海量小文件的性能，按照MapReduce模型并行化之后的數(shù)據(jù)挖掘算法也具