基于三級存儲系統(tǒng)的海量數(shù)據(jù)查詢處理方法的研究.pdf

1、隨著信息技術(shù)的發(fā)展，數(shù)據(jù)量超過1012的海量數(shù)據(jù)已經(jīng)隨處可見并且數(shù)據(jù)量還在不斷增長。從成本和存儲容量等因素綜合考慮，目前人們大都采用將磁帶庫、光盤庫等第三級存儲設(shè)備作為海量數(shù)據(jù)的主要存儲介質(zhì)，并與主存、磁盤一起構(gòu)成一個三級的存儲系統(tǒng)作海量數(shù)據(jù)的存儲結(jié)構(gòu)。為了充分利用三級存儲系統(tǒng)中海量數(shù)據(jù)提供的信息，需要開發(fā)出真正的基于三級存儲系統(tǒng)的海量信息管理系統(tǒng)。
　　由于三級存儲系統(tǒng)各存儲層次在數(shù)據(jù)存取性能方面存在巨大差異，為了使三級存儲系統(tǒng)

2、各存儲層次“無縫”地連接在一起并很好地融入到數(shù)據(jù)庫系統(tǒng)中，就必須研究設(shè)計出符合三級存儲系統(tǒng)硬件特點的高效的查詢處理方法。查詢處理技術(shù)的研究是基于三級存儲系統(tǒng)的海量數(shù)據(jù)管理系統(tǒng)研究中的一個重點和難點。查詢處理問題的解決將極大地提高基于三級存儲系統(tǒng)中海量信息的管理和應(yīng)用水平。
　　本文以三級存儲系統(tǒng)中的海量數(shù)據(jù)為研究對象，研究了基于三級存儲系統(tǒng)的海量數(shù)據(jù)的查詢處理方法。根據(jù)需要訪問的數(shù)據(jù)存儲位置的不同（磁盤上還是第三級存儲器上），將三

3、級存儲系統(tǒng)中海量數(shù)據(jù)的查詢分為D-Query、T-Query和TD-Query三類。由于D-Query訪問的數(shù)據(jù)存儲在磁盤上，可以采用傳統(tǒng)數(shù)據(jù)庫處理查詢的方法對其進(jìn)行處理，因此本文隨后重點研究了第三級存儲器查詢（T-Query和TD-Query）的處理方法。
　　在分析了已有的查詢處理方法后，提出了基于兩次分解的第三級存儲器查詢處理方法。該方法將第三級存儲器上的查詢分為第三級存儲器執(zhí)行部分和磁盤查詢計劃兩部分，并分別在第三級存儲器