數(shù)據(jù)密集型計(jì)算并行編程關(guān)鍵技術(shù)研究.pdf

1、數(shù)據(jù)密集型計(jì)算是一種針對(duì)海量、分布、異構(gòu)、變化的數(shù)據(jù)集進(jìn)行的并行計(jì)算。隨著各領(lǐng)域信息化程度的提高，數(shù)據(jù)規(guī)?？焖僭鲩L(zhǎng)，數(shù)據(jù)密集型計(jì)算成為解決海量數(shù)據(jù)處理問(wèn)題的主要手段，以數(shù)據(jù)密集型計(jì)算編程模型為主導(dǎo)的并行編程技術(shù)成為設(shè)計(jì)與實(shí)現(xiàn)海量數(shù)據(jù)并行處理算法的重要基礎(chǔ)，以MapReduce為代表的數(shù)據(jù)并行編程模型及相關(guān)技術(shù)已成為工業(yè)界、科學(xué)界與計(jì)算機(jī)學(xué)術(shù)界共同關(guān)注的數(shù)據(jù)密集型計(jì)算并行編程研究熱點(diǎn)。
　　雖然數(shù)據(jù)密集型計(jì)算并行編程的理論與技術(shù)研究

2、已有多年的發(fā)展歷史，取得了許多重要的研究成果，有力地推動(dòng)了數(shù)據(jù)密集型計(jì)算技術(shù)的發(fā)展與普及，不過(guò)在平臺(tái)架構(gòu)、通用性與復(fù)雜作業(yè)處理、多核集群并行化擴(kuò)展、算法適用性等方面仍然存在諸多問(wèn)題，需要進(jìn)一步分析和研究。本文圍繞這些問(wèn)題，對(duì)數(shù)據(jù)密集型計(jì)算并行編程技術(shù)展開了深入研究，主要研究工作及創(chuàng)新點(diǎn)如下：
　?。?）研究了云計(jì)算平臺(tái)、高性能計(jì)算平臺(tái)和大數(shù)據(jù)系統(tǒng)的體系結(jié)構(gòu)，提出了一種基于一體化設(shè)計(jì)方法構(gòu)建的數(shù)據(jù)密集型計(jì)算平臺(tái)架構(gòu)，其中：用戶應(yīng)用層

3、用于部署各類數(shù)據(jù)密集型應(yīng)用。應(yīng)用開發(fā)與管理層提供與數(shù)據(jù)密集型應(yīng)用開發(fā)和運(yùn)行管理相關(guān)的各種服務(wù)，主要包括客戶端、集成開發(fā)與運(yùn)行環(huán)境、作業(yè)管理模塊。海量數(shù)據(jù)處理層支持多種編程模型及計(jì)算框架，主要包括計(jì)算資源管理、計(jì)算框架、多計(jì)算框架管理、編程模型連接池模塊。海量數(shù)據(jù)存儲(chǔ)層負(fù)責(zé)針對(duì)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行合理存儲(chǔ)和管理，并提供統(tǒng)一的數(shù)據(jù)訪問(wèn)接口。系統(tǒng)管理層負(fù)責(zé)數(shù)據(jù)密集型計(jì)算平臺(tái)的日常管理與運(yùn)行維護(hù)，主要包括權(quán)限管理、用戶管理和系統(tǒng)配置模塊

4、?；A(chǔ)設(shè)施層通過(guò)虛擬化技術(shù)將各種物理資源轉(zhuǎn)化為虛擬機(jī)、虛擬存儲(chǔ)、虛擬網(wǎng)絡(luò)組成的資源池，為上層的海量數(shù)據(jù)獲取、存儲(chǔ)與處理服務(wù)按需提供資源。
　　（2）在對(duì)離線計(jì)算框架MapReduce的基本原理、系統(tǒng)結(jié)構(gòu)、工作流程、優(yōu)勢(shì)與局限性，以及相關(guān)的計(jì)算框架（包括迭代式MapReduce計(jì)算框架、DAG計(jì)算框架和內(nèi)存計(jì)算框架）進(jìn)行深入分析的基礎(chǔ)上，研究了編程模型與計(jì)算框架的通用性問(wèn)題，提出了基于多種編程模型、支持復(fù)雜作業(yè)處理的通用計(jì)算框架（G

5、CF-MPM），可在滿足通用性要求的同時(shí)，高效處理由多個(gè)不同類型計(jì)算任務(wù)構(gòu)成的復(fù)雜作業(yè)。
　　GCF-MPM框架的復(fù)雜作業(yè)管理與控制層借鑒現(xiàn)有的DAG任務(wù)調(diào)度模型，采用本文提出的一種基于雙排序值的作業(yè)調(diào)度器（DRJ Scheduler）。GCF-MPM的資源管理與調(diào)度層采用本文提出的DL-QoS-SA Scheduler資源調(diào)度器。該調(diào)度器可對(duì) YARN自帶的公平調(diào)度器進(jìn)行合理擴(kuò)展，使用基于數(shù)據(jù)本地性服務(wù)質(zhì)量和統(tǒng)計(jì)分析方法的作業(yè)排

6、序算法（DL-QoS-SA Job Prioritizer）替代原有的Fair策略。GCF-MPM計(jì)算框架包含多個(gè)基于MRv1開發(fā)的數(shù)據(jù)并行計(jì)算子框架，可容易地支持不同類型的編程模型，每一種子框架只負(fù)責(zé)處理特定類型的計(jì)算任務(wù)，從而滿足了用戶對(duì)并行編程環(huán)境的通用性要求。
　?。?）研究了MRv1計(jì)算框架在多核集群上的并行化擴(kuò)展問(wèn)題，提出了面向多核集群的MapReduce-TBB混合編程模型。多核集群系統(tǒng)具備強(qiáng)大的節(jié)點(diǎn)間并行與節(jié)點(diǎn)內(nèi)并

7、行處理能力，面對(duì)集群節(jié)點(diǎn)內(nèi)多核處理器所提供的并行計(jì)算資源，現(xiàn)有的數(shù)據(jù)密集型計(jì)算編程模型的并行化擴(kuò)展能力不足。由于任務(wù)級(jí)并行編程模型TBB在支持多核平臺(tái)并行編程方面具有明顯優(yōu)勢(shì)，本文首先將多核集群中基于MapReduce開發(fā)的計(jì)算框架并行化擴(kuò)展問(wèn)題抽象為面向 CMP-Cluster的MapReduce編程模型并行化擴(kuò)展問(wèn)題，然后使用 Hadoop Pipes編程接口將 TBB并行算法模板函數(shù)（主要包括 parallel_for和 para

8、llel_reduce）與MapReduce數(shù)據(jù)處理引擎進(jìn)行連接，從而提升了 MRv1框架對(duì)多核集群上多級(jí)并行化資源的利用率。實(shí)驗(yàn)結(jié)果表明，MapReduce-TBB混合編程模型能夠充分利用多核集群節(jié)點(diǎn)內(nèi)多核處理器提供的并行計(jì)算資源，為GCF-MPM框架和其他基于MapReduce開發(fā)的計(jì)算框架在多核集群上實(shí)現(xiàn)多級(jí)并行化擴(kuò)展奠定了重要基礎(chǔ)。
　　（4）應(yīng)用GCF-MPM框架與MapReduce-TBB混合編程模型，基于本文提出的數(shù)

9、據(jù)密集型計(jì)算平臺(tái)架構(gòu)，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)數(shù)據(jù)密集型計(jì)算并行編程系統(tǒng)（DICPPS）。該系統(tǒng)的主要功能模塊包括：客戶端管理、作業(yè)管理、資源管理、子框架管理、多核任務(wù)管理、數(shù)據(jù)管理和系統(tǒng)管理模塊。基于DICPPS系統(tǒng)，本文研究了實(shí)現(xiàn)形態(tài)學(xué)圖像處理算法和數(shù)字社區(qū)商圈劃分算法的適用性問(wèn)題，提出并實(shí)現(xiàn)了將業(yè)務(wù)商圈與自然商圈相結(jié)合的綜合商圈劃分算法。實(shí)驗(yàn)結(jié)果表明，DICPPS系統(tǒng)不但在處理復(fù)雜作業(yè)方面具備較高的可用性和通用性，而且在多核集群上也表現(xiàn)出