面向天文學(xué)領(lǐng)域的大數(shù)據(jù)管理的研究與實(shí)現(xiàn).pdf

1、近年來(lái),隨著云計(jì)算,云存儲(chǔ)等概念的提出,在人們的日常生活及各方面的專業(yè)領(lǐng)域中會(huì)產(chǎn)生大量的數(shù)據(jù)。在天文學(xué)領(lǐng)域,近年來(lái)提出一個(gè)新的項(xiàng)目叫做大型綜合巡天望遠(yuǎn)鏡,旨在持續(xù)觀測(cè)整個(gè)天空數(shù)十年,將相關(guān)數(shù)據(jù)記錄下來(lái)以供分析研究。在項(xiàng)目持續(xù)的十年中,大約會(huì)將項(xiàng)目產(chǎn)生的60PB數(shù)據(jù)存儲(chǔ)到服務(wù)器中供大眾以及天文學(xué)家分析以揭示新的天空,對(duì)整個(gè)宇宙做出新的發(fā)現(xiàn)。相應(yīng)地,60千萬(wàn)億字節(jié)相對(duì)于現(xiàn)存的各種大型數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)說(shuō)是一項(xiàng)巨大的挑戰(zhàn)。
　　傳統(tǒng)的主流

2、數(shù)據(jù)庫(kù)管理軟件如Microsoft SQL Server,MySQL等已不適用于大數(shù)據(jù)處理業(yè)務(wù),因此,出現(xiàn)了一些新的技術(shù)以提高對(duì)大數(shù)據(jù)的處理。一種可行的方案是將數(shù)個(gè)成本腳較低的計(jì)算機(jī)組成集群以提供并行服務(wù)如Oracle的Real Application Cluster,IBM DB2,Hive,Hadoop DB等,這種手段雖然具有相對(duì)較低的成本,但是卻增加了運(yùn)行環(huán)境的復(fù)雜程度,以及用于并行的額外開(kāi)銷。在分析此項(xiàng)目對(duì)于數(shù)據(jù)庫(kù)管理系統(tǒng)的需

3、求,以及學(xué)習(xí),理解甲骨文數(shù)據(jù)庫(kù)管理系統(tǒng)中提供的索引,分區(qū),并行查詢等技術(shù)后,本文將會(huì)對(duì)甲骨文真正應(yīng)用程序集群的數(shù)據(jù)庫(kù)性能進(jìn)行一番優(yōu)化,測(cè)試以觀測(cè)現(xiàn)存的甲骨文真正應(yīng)用程序集群是否能滿足項(xiàng)目的需求。另外,本文還將對(duì)比查詢語(yǔ)句在甲骨文真正應(yīng)用程序集群以及在相同情況下其他數(shù)據(jù)庫(kù)管理系統(tǒng)中的表現(xiàn)。本文還將就甲骨文真正應(yīng)用程序集群的可擴(kuò)展性進(jìn)行一番測(cè)試,以觀測(cè)甲骨文真正應(yīng)用程序集群是否能很好的支持添加,擴(kuò)展集群,以及其容錯(cuò)性,可伸縮性,可用性。相應(yīng)