LAMOST科學(xué)計(jì)算云平臺系統(tǒng)的構(gòu)建與應(yīng)用.pdf

1、隨著探測器和空間技術(shù)的發(fā)展，天文觀測從可見光、射電波段擴(kuò)展到包括紅外、紫外、X射線和γ射線在內(nèi)的電磁波各個波段，形成了全波段天文學(xué)，現(xiàn)發(fā)展到了一個全新的階段，即全波段-大樣本-巨信息量時期。天文學(xué)已然成為各學(xué)科中擁有海量數(shù)據(jù)的龍頭老大，由于天文數(shù)據(jù)量的龐大和增長速度的迅猛，這些巡天項(xiàng)目產(chǎn)生的數(shù)據(jù)量通常可以達(dá)到TB甚至PB級。如斯隆數(shù)字巡天SDSS，用了十年時間來覆蓋8000平方度的天空，得到大約108個恒星、星系及類星體的大約40TB的

2、成像及光譜數(shù)據(jù)。
　　 隨著LAMOST巡天計(jì)劃的開展，要完成對1000萬個星系、100萬個類星體及1000萬顆恒星光譜的觀測，將產(chǎn)生的數(shù)據(jù)將會是SDSS的十倍之多，對海量數(shù)據(jù)的存儲和處理將會是一個極大的挑戰(zhàn)，本文針對LAMOST的需求，對海量光譜的數(shù)據(jù)存儲和處理構(gòu)建了一套適合天文數(shù)據(jù)處理的科學(xué)計(jì)算平臺并設(shè)計(jì)并實(shí)現(xiàn)了可定制的云儲存系統(tǒng)。
　　 本文主要工作如下:
　　 1、在LAMOST數(shù)據(jù)處理中心的24臺服務(wù)器

3、上構(gòu)建了一套基于Hadoop開源框架并適合天文數(shù)據(jù)處理的科學(xué)計(jì)算平臺，其中包含NumPy、SciPy、PyFITS等常用的工具包。使用Python和Shell完成自動部署的程序包，以方便快捷地添加刪除物理節(jié)點(diǎn)以及設(shè)置負(fù)載均衡。
　　 2、基于Hadoop核心組件HDFS，設(shè)計(jì)并實(shí)現(xiàn)了多用戶的云存儲系統(tǒng)，為用戶提供了新建文件夾、文件上傳、下載文件/文件夾、刪除文件/文件夾、回收站、記事本及個人信息管理等功能。另外，管理員角色擁有賬