面向Storm的數(shù)據(jù)流編程模型與優(yōu)化方法研究.pdf

1、分布式計算框架利用廉價PC構建多核集群解決了大規(guī)模并行計算問題，但是在分布式計算框架上編程需要考慮程序子任務間的負載均衡和通信同步開銷，編程難度大。數(shù)據(jù)流編程模型作為面向特定領域的編程模型，它將程序的計算與通信分離，暴露了應用程序潛在的并行性并簡化了編程難度。但由于分布式架構下的多核集群含有層次性存儲結構和處理單元，這為數(shù)據(jù)流程序的性能提出了新的挑戰(zhàn)，并且數(shù)據(jù)流程序在分布式架構下的可編程性也為數(shù)據(jù)流編譯器提出了更高的要求。
　　針

2、對數(shù)據(jù)流程序在分布式架構下所面臨的問題，設計并實現(xiàn)了數(shù)據(jù)流編程模型和分布式計算框架的結合——在COStream的基礎上提出了面向Storm的編譯優(yōu)化框架。面向 Storm的編譯優(yōu)化方法包括二個步驟：面向 Storm的層次性任務劃分與調(diào)度，以及面向Storm的層次性軟件流水與代碼生成。層次性任務劃分利用Storm的任務調(diào)度機制將程序所有子任務分配到 Storm集群節(jié)點內(nèi)的多核上，根據(jù)劃分目標平臺的不同可分為集群節(jié)點間的任務劃分和節(jié)點內(nèi)多核