基于GPU運(yùn)算的MARS框架的分析與研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)資源包含了越來越多各種類型的數(shù)據(jù)與信息，人們對(duì)大數(shù)據(jù)處理的需求也越來越迫切。服務(wù)器CPU性能與IO吞吐量對(duì)處理大數(shù)據(jù)來說都至關(guān)重要，但就傳統(tǒng)的技術(shù)架構(gòu)與單臺(tái)計(jì)算機(jī)串行處理模式來說，其存儲(chǔ)空間、容錯(cuò)性、數(shù)據(jù)訪問速度與處理速度都遠(yuǎn)遠(yuǎn)達(dá)不到人們對(duì)大數(shù)據(jù)的處理要求。
　　并行和分布式計(jì)算是解決大規(guī)模數(shù)據(jù)處理的有效手段。現(xiàn)存的幾種基于Mapreduce的并行處理框架如Hadoop、Spark、Disco等都是利用C

2、PU對(duì)數(shù)據(jù)進(jìn)行并行處理，但是由于CPU內(nèi)核數(shù)量和內(nèi)存容量的制約，想利用核數(shù)有限的CPU對(duì)巨大的數(shù)據(jù)進(jìn)行并行計(jì)算，其性能必定受到限制，但是若將并行計(jì)算的部分移植到可以分配大量線程的GPU上進(jìn)行則可以進(jìn)一步提高并行度和數(shù)據(jù)處理效率，加快數(shù)據(jù)處理速度。
　　MARS框架是一種基于GPU的Map/Reduce框架。在Mars框架中，將數(shù)據(jù)以key/value對(duì)的形式輸入到主存儲(chǔ)器中，對(duì)數(shù)據(jù)開始進(jìn)行處理時(shí)，為Map任務(wù)和Reduce任務(wù)初始

3、化大量的GPU線程，為每個(gè)線程分配少量且盡量等量的key/value對(duì)進(jìn)行處理，使得GPU的每個(gè)線程能夠負(fù)載均衡，使對(duì)大量數(shù)據(jù)的處理性能達(dá)到最優(yōu)化，以此提升對(duì)大數(shù)據(jù)的處理效率。
　　本文通過以Mars框架為研究對(duì)象，以Mars框架實(shí)現(xiàn)數(shù)據(jù)處理功能為重點(diǎn)研究內(nèi)容，分析Mars框架的設(shè)計(jì)理念與實(shí)現(xiàn)方法，并詳細(xì)解析MARS所實(shí)現(xiàn)的七項(xiàng)數(shù)據(jù)處理功能，實(shí)現(xiàn)應(yīng)用案例的運(yùn)行。具體研究工作如下：
　　1.總結(jié)和分析現(xiàn)有的幾種大數(shù)據(jù)處理框架包

4、括Hadoop、Spark、Disco數(shù)據(jù)處理框架，并比較幾種框架的優(yōu)缺點(diǎn)；
　　2.對(duì)MARS框架所涉及到的一些架構(gòu)與平臺(tái)的詳細(xì)介紹，包括GPU、CUDA、MapReduce等；
　　3.分析MARS框架的設(shè)計(jì)與實(shí)現(xiàn)，包括MARS框架的設(shè)計(jì)目標(biāo)、工作流程、參數(shù)配置、接口設(shè)計(jì)、關(guān)鍵技術(shù)等；
　　4.詳細(xì)解析MARS所實(shí)現(xiàn)的七項(xiàng)數(shù)據(jù)處理實(shí)例，包括詞頻統(tǒng)計(jì)、字符串匹配、網(wǎng)頁訪問量排序、網(wǎng)頁訪問量計(jì)數(shù)、矩陣乘法、倒排索引、相