基于數(shù)據(jù)塊采樣的PostgreSQL統(tǒng)計信息估算方法的研究.pdf

1、隨著計算機硬件、軟件技術(shù)的飛速發(fā)展和計算機系統(tǒng)在各行各業(yè)的廣泛應(yīng)用,數(shù)據(jù)已經(jīng)成為各種機構(gòu)的寶貴資源,數(shù)據(jù)庫系統(tǒng)對于當(dāng)今科研部門、政府機關(guān)、企事業(yè)單位等來說都是至關(guān)重要的。隨著時間的推移,數(shù)據(jù)庫中的數(shù)據(jù)量日益增長,而數(shù)據(jù)庫管理系統(tǒng)的一個重要功能就是將建立于其上的信息系統(tǒng)的性能維持在一個可接受的水平上,查詢優(yōu)化器就是實現(xiàn)這一功能的重要的數(shù)據(jù)庫系統(tǒng)組件。
　　 查詢優(yōu)化器分為基于代價和基于規(guī)則的優(yōu)化器。當(dāng)今通用的商業(yè)數(shù)據(jù)庫的查詢優(yōu)化器

2、多為基于代價的優(yōu)化器?；诖鷥r的優(yōu)化器相對基于規(guī)則的優(yōu)化器的優(yōu)勢就在于它能根據(jù)數(shù)據(jù)庫對象各自特定的信息估算查詢代價,以此來選擇最優(yōu)的查詢執(zhí)行路徑,而這些數(shù)據(jù)庫對象信息就是數(shù)據(jù)庫管理系統(tǒng)收集的統(tǒng)計信息。因此,數(shù)據(jù)庫統(tǒng)計信息估算的準(zhǔn)確度對查詢代價估算的結(jié)果有著顯著的影響,也對優(yōu)化器的質(zhì)量有著實質(zhì)性的影響。收集統(tǒng)計信息可以通過精確計算和采樣估算兩種方式,前者收集的統(tǒng)計信息準(zhǔn)確度高,但計算代價大,特別是分析大對象時容易給系統(tǒng)造成負(fù)擔(dān)；后者收集的

3、統(tǒng)計信息準(zhǔn)確度相對前者較低,但計算代價小,系統(tǒng)負(fù)擔(dān)小,即使分析的是大對象。
　　 本文主要基于開源數(shù)據(jù)庫管理系統(tǒng)PostgreSQL,分析其收集數(shù)據(jù)庫統(tǒng)計信息與查詢優(yōu)化器相關(guān)源代碼,重點討論直方圖與Distinct值這兩種對估算查詢代價極其重要的統(tǒng)計信息的收集,提出在PostgreSQL中使用計算與估算兩種方法收集統(tǒng)計信息。在采樣估算中使用基于數(shù)據(jù)塊的采樣,并且采用基于直方圖的交叉驗證算法將數(shù)據(jù)塊采樣樣本的數(shù)據(jù)偏差縮小至預(yù)定閾值

4、范圍之內(nèi),然后在此樣本上建立等高直方圖或基于值的直方圖,存儲于系統(tǒng)表中,供查詢優(yōu)化器使用。在估算Distinct值時,由于數(shù)據(jù)分布偏差容易造成數(shù)據(jù)塊樣本的偏差,因此引入混合式估算法解決由于f1值(樣本中只出現(xiàn)一次的值的個數(shù))損失造成的估算誤差。
　　 最后在Linux AS3和PostgreSQL8.1環(huán)境下通過實驗證明,本文提出的方案適合于PostgreSQL數(shù)據(jù)庫,并且在保證估算準(zhǔn)確度的基礎(chǔ)上提高了統(tǒng)計信息收集的效率。