支持多計(jì)算模式的大數(shù)據(jù)系統(tǒng)的研究.pdf

1、隨著大數(shù)據(jù)的時(shí)代的到來(lái)，大數(shù)據(jù)技術(shù)發(fā)展迅猛，其中最為典型的變化是計(jì)算模式的豐富多樣，由最初的批處理計(jì)算發(fā)展到后來(lái)的流計(jì)算，實(shí)時(shí)交互式計(jì)算等。但不同的計(jì)算框架的應(yīng)用場(chǎng)景比較有限，批處理計(jì)算雖能輕松處理海量數(shù)據(jù)，但響應(yīng)時(shí)間較長(zhǎng)；與批處理不同，流式計(jì)算是一種連續(xù)計(jì)算的模式，能夠快速響應(yīng)用戶事件；實(shí)時(shí)交互計(jì)算以一種交互式的方式實(shí)現(xiàn)大數(shù)據(jù)處理，也有著快速的響應(yīng)速度。由于大數(shù)據(jù)應(yīng)用場(chǎng)景越來(lái)越復(fù)雜，傳統(tǒng)的單一計(jì)算框架模式不能很好的滿足數(shù)據(jù)應(yīng)用的要求。

2、現(xiàn)在出現(xiàn)了一些關(guān)于混合系統(tǒng)的研究，旨在融合多種計(jì)算系統(tǒng)，統(tǒng)一大數(shù)據(jù)計(jì)算平臺(tái)提供多種計(jì)算服務(wù)。
　　論文研究支持多計(jì)算模式的大數(shù)據(jù)系統(tǒng)。構(gòu)建支持多種計(jì)算模式的統(tǒng)一大數(shù)據(jù)系統(tǒng)會(huì)面臨多種問(wèn)題，包括系統(tǒng)上層接口的不統(tǒng)一性，異構(gòu)系統(tǒng)的差異性，集群資源統(tǒng)一調(diào)度的問(wèn)題等等。本文研究試圖解決以上問(wèn)題，研究重點(diǎn)為統(tǒng)一的語(yǔ)言抽象層研究，多計(jì)算框架支持，編譯優(yōu)化，成本模型評(píng)估這四大部分。設(shè)計(jì)并實(shí)現(xiàn)了支持多計(jì)算模式的系統(tǒng)原型，在用戶層，為了提升系統(tǒng)的易用

3、性，以類SQL語(yǔ)言做查詢層語(yǔ)言。目前支持批處理與流處理這兩種計(jì)算模式，用HBase作為存儲(chǔ)端，提升實(shí)時(shí)查詢性能，最大的特點(diǎn)是抽象出了一套分別針對(duì)MapReduce與Storm任務(wù)的成本評(píng)估模型，依據(jù)計(jì)算出的成本實(shí)現(xiàn)智能選擇底層的計(jì)算框架。
　　經(jīng)過(guò)系統(tǒng)的測(cè)試對(duì)比，總體性能優(yōu)于單計(jì)算模式的Hive，與SummingBird相當(dāng)。由于系統(tǒng)可以智能選擇計(jì)算框架，從整體來(lái)看，系統(tǒng)能夠兼顧處理速度與系統(tǒng)的吞吐量。當(dāng)數(shù)據(jù)量大時(shí)，系統(tǒng)的吞吐量比