機(jī)群下基于Greenplum數(shù)據(jù)庫查詢能耗估算及提高連接能效策略.pdf

1、在現(xiàn)代信息社會(huì)中，每個(gè)行業(yè)都在不間斷的產(chǎn)生海量的新數(shù)據(jù)。這些數(shù)據(jù)支撐行業(yè)的發(fā)展，也是科技創(chuàng)新的一個(gè)重要來源。大數(shù)據(jù)領(lǐng)域的基石就是存儲(chǔ)、管理和分析數(shù)據(jù)的數(shù)據(jù)中心。無論是只有幾臺(tái)機(jī)器的小型組織還是全球化的大型跨國公司，數(shù)據(jù)中心都是企業(yè)生產(chǎn)和發(fā)展過程中必不可少的設(shè)施。但是，隨著數(shù)據(jù)中心的規(guī)模不斷擴(kuò)大，在全球資源緊張的大背景下，數(shù)據(jù)中心的能耗問題不僅導(dǎo)致成本增加成為制約企業(yè)發(fā)展的重要因素，而且成為經(jīng)濟(jì)增長(zhǎng)和資源浪費(fèi)的新興矛盾對(duì)立面。
　　

2、數(shù)據(jù)庫是傳統(tǒng)意義上數(shù)據(jù)中心的主要應(yīng)用，大型企業(yè)在數(shù)據(jù)中心上的數(shù)據(jù)維護(hù)都會(huì)產(chǎn)生巨大的開銷，因此關(guān)注數(shù)據(jù)庫系統(tǒng)的能耗表現(xiàn)是最近學(xué)術(shù)界熱門的課題。數(shù)據(jù)庫通過多個(gè)查詢路徑的代價(jià)評(píng)估，找出最優(yōu)化的一個(gè)查詢進(jìn)行的方式即查詢計(jì)劃，因此如何根據(jù)查詢計(jì)劃估算出整個(gè)查詢的能耗是整個(gè)數(shù)據(jù)庫查詢能耗相關(guān)研究的基礎(chǔ)，也對(duì)于后續(xù)進(jìn)行數(shù)據(jù)庫查詢的能耗優(yōu)化研究至關(guān)重要。
　　本文在大規(guī)模并行處理架構(gòu)的Greenplum數(shù)據(jù)庫機(jī)群環(huán)境下，首先分析了機(jī)群下數(shù)據(jù)庫系統(tǒng)

3、與單機(jī)環(huán)境下的差異，然后實(shí)驗(yàn)測(cè)試了數(shù)據(jù)庫系統(tǒng)中主要能耗硬件在不同工作負(fù)載下的能耗表現(xiàn)情況。針對(duì)數(shù)據(jù)庫查詢中的不同查詢操作，本文由實(shí)驗(yàn)得到不同查詢操作與查詢表規(guī)模的關(guān)系，從而將硬件能耗、查詢操作以及表規(guī)模三者之間建立聯(lián)系，再根據(jù)具體查詢計(jì)劃的執(zhí)行方式建立能耗估算模型并且實(shí)驗(yàn)驗(yàn)證其估算結(jié)果的準(zhǔn)確性。另一方面，通過對(duì)于整體數(shù)據(jù)庫系統(tǒng)能耗的研究，本文實(shí)驗(yàn)測(cè)試連接操作中三種連接方式nestloop、mergejoin、hashjoin在表不同規(guī)模