基于Hadoop的在線聚集查詢處理方法研究.pdf

1、自從進入信息時代以來，信息呈爆發(fā)式增長，隨之而來的是數(shù)據(jù)量的劇增。處理海量數(shù)據(jù)，從海量數(shù)據(jù)中獲得有效信息，成為了當務之急。很長一段時間以來，存儲和處理數(shù)據(jù)的主要工具是關系數(shù)據(jù)庫，而關系數(shù)據(jù)庫中的聚集查詢是進行統(tǒng)計分析的重要操作。隨著需要處理的數(shù)據(jù)量急劇增長，傳統(tǒng)關系數(shù)據(jù)庫進行聚集查詢的批處理模式使得用戶進行聚集查詢時需經過長時間的等待之后才能得到最終的準確結果。
　　在線聚集查詢可以在查詢處理的過程中不斷獲取數(shù)據(jù)，給出當前近似結果

2、，直到處理完全部數(shù)據(jù)才能得到最終的精確結果，當達到用戶所需的精確度時，用戶可以終止查詢，以節(jié)約用戶時間和系統(tǒng)資源。
　　隨著新的數(shù)據(jù)處理平臺Hadoop的發(fā)展，處理海量數(shù)據(jù)變得更高效，但是數(shù)據(jù)是“無限”的，而計算和存儲資源卻是有限的。雖然目前很難從根本上解決這一問題，但是對于特定應用，仍然可以提出一些特定的解決方案。
　　本文結合 Hadoop處理海量數(shù)據(jù)的優(yōu)勢和在線聚集查詢處理方式，提出了基于Hadoop的迭代抽樣近似聚集

3、查詢處理方法，通過兩次迭代抽樣得到滿足用戶所需精確度的近似聚集查詢處理結果。根據(jù)第一次抽樣得到的樣本數(shù)據(jù)以及用戶給定的精確度，估計出第二次迭代所需的樣本大小，通過兩次得到的樣本數(shù)據(jù)，返回近似聚集查詢結果給用戶。為了避免數(shù)據(jù)偏差的影響，特別是對于分組數(shù)據(jù)量相差懸殊或低選擇度的Group by聚集查詢，本文提出了在Hadoop環(huán)境下的“分層”抽樣方法，從而保證基于統(tǒng)計的近似聚集結果有意義。最后在實驗中，通過各種抽樣方法對聚集查詢結果的影響進