基于可重構(gòu)硬件架構(gòu)的MapReduce計算方法研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，信息量的爆炸式增長，需要高效的科學(xué)計算，以滿足快速挖掘有價值信息的需求。在傳統(tǒng)的計算機上處理海量的數(shù)據(jù)需要很長的時間消耗和能量代價，如何快速高效利用好海量的數(shù)據(jù)成為各行各業(yè)所面臨的嚴(yán)峻考驗。高效利用海量數(shù)據(jù)挖掘出有價值的信息成為工業(yè)界發(fā)展的必然選擇。
　　由Google實驗室提出的MapReduce編程模型是一種快速、簡潔、高效的大數(shù)據(jù)的處理方法。其通過對大數(shù)據(jù)塊進行子任務(wù)劃分、任務(wù)調(diào)配、并行化處理、容錯處理

2、等進行封裝，很大程度上簡化了并行程序的設(shè)計，目前已在Google、Facebook、阿里巴巴等公司的許多項目中得到應(yīng)用。相比較而言，傳統(tǒng)的計算機其有限的運算單元和存儲帶寬，束縛其性能和功耗無法滿足日益推成出新的應(yīng)用需求?？芍貥?gòu)計算架構(gòu)的處理系統(tǒng)兼顧了專用集成電路的高效性和通用處理器的靈活性的優(yōu)勢，其可高效并行處理計算密集型應(yīng)用的特點，成為解決并行計算多樣性需求的有效途徑。
　　本文針對高效處理海量數(shù)據(jù)的場景下，對MapReduce

3、編程模型和可重構(gòu)計算技術(shù)進行了深入的研究;提出了將MapReduce編程模型與可重構(gòu)計算技術(shù)相結(jié)合的研究方案;選取了Kmeans聚類算法和FIR濾波算法兩種典型的算法作為目標(biāo)算法;設(shè)計了Kmeas聚類算法和FIR濾波算法的MapReduce編程，完成了這兩種算法在可重構(gòu)硬件架構(gòu)上的映射。完成了上述算法在可重構(gòu)計算平臺和通用計算平臺ATOM230上的性能對比實驗，實驗結(jié)果表明:在可重構(gòu)計算平臺上實現(xiàn)基于MapReduce模型并行化的Kme