面向天文學領域的大數(shù)據(jù)管理的研究與實現(xiàn).pdf

1、近年來,隨著云計算,云存儲等概念的提出,在人們的日常生活及各方面的專業(yè)領域中會產(chǎn)生大量的數(shù)據(jù)。在天文學領域,近年來提出一個新的項目叫做大型綜合巡天望遠鏡,旨在持續(xù)觀測整個天空數(shù)十年,將相關數(shù)據(jù)記錄下來以供分析研究。在項目持續(xù)的十年中,大約會將項目產(chǎn)生的60PB數(shù)據(jù)存儲到服務器中供大眾以及天文學家分析以揭示新的天空,對整個宇宙做出新的發(fā)現(xiàn)。相應地,60千萬億字節(jié)相對于現(xiàn)存的各種大型數(shù)據(jù)庫管理系統(tǒng)來說是一項巨大的挑戰(zhàn)。
　　傳統(tǒng)的主流

2、數(shù)據(jù)庫管理軟件如Microsoft SQL Server,MySQL等已不適用于大數(shù)據(jù)處理業(yè)務,因此,出現(xiàn)了一些新的技術以提高對大數(shù)據(jù)的處理。一種可行的方案是將數(shù)個成本腳較低的計算機組成集群以提供并行服務如Oracle的Real Application Cluster,IBM DB2,Hive,Hadoop DB等,這種手段雖然具有相對較低的成本,但是卻增加了運行環(huán)境的復雜程度,以及用于并行的額外開銷。在分析此項目對于數(shù)據(jù)庫管理系統(tǒng)的需

3、求,以及學習,理解甲骨文數(shù)據(jù)庫管理系統(tǒng)中提供的索引,分區(qū),并行查詢等技術后,本文將會對甲骨文真正應用程序集群的數(shù)據(jù)庫性能進行一番優(yōu)化,測試以觀測現(xiàn)存的甲骨文真正應用程序集群是否能滿足項目的需求。另外,本文還將對比查詢語句在甲骨文真正應用程序集群以及在相同情況下其他數(shù)據(jù)庫管理系統(tǒng)中的表現(xiàn)。本文還將就甲骨文真正應用程序集群的可擴展性進行一番測試,以觀測甲骨文真正應用程序集群是否能很好的支持添加,擴展集群,以及其容錯性,可伸縮性,可用性。相應