基于healpix的海量天文數(shù)據(jù)球面可視化研究開題報告

1、基于HEALPix的海量天文數(shù)據(jù)球面可視化研究,報告人： XXXX 導(dǎo) 師：XXXX 副教授 學(xué) 號： XXXXXXX,1.課題的研究背景和意義,從20世紀90年代開始，天文學(xué)經(jīng)歷了革命性的變化。這一變化是由前所未有的技術(shù)進步所推動的，即望遠鏡的設(shè)計和制造技術(shù)、大尺寸探測器陣列的設(shè)計和制造技術(shù)、高性能計算技術(shù)和互聯(lián)網(wǎng)技術(shù)。如同在計算機工業(yè)中反映計算能力隨時間指數(shù)增長的摩

2、爾定律一樣，在過去幾十年中這些技術(shù)進步使得天文學(xué)的數(shù)據(jù)收集能力也遵循著摩爾定律。,1.課題的研究背景和意義,,歐空局2012年發(fā)射蓋亞探測器，將會測量將近10億顆恒星的位置坐標,美國1990年發(fā)射的哈勃空間望遠鏡（HST）每天大約產(chǎn)生5GB的數(shù)據(jù),我國建造的大天區(qū)面積多目標光纖光譜望遠鏡（LAMOST）每天產(chǎn)生3GB的數(shù)據(jù),美國建造的大口徑綜合巡天望遠鏡（LSST）每天的觀測數(shù)據(jù)預(yù)計將達到18TB的量級,1.課題的研究背景和意義,隨著眾

3、多先進的地面與空間天文設(shè)備的投入使用，特別是大規(guī)模CCD探測器的使用，使得觀測數(shù)據(jù)量急速增長。 如何從如此快速增長著的巨量數(shù)據(jù)中提取有價值的信息并進行可視化從而使研究人員能夠直觀地觀察數(shù)據(jù)，將不可避免地面臨越來越復(fù)雜的數(shù)據(jù)量縮小、科學(xué)提取、數(shù)據(jù)的快速加載和高效交互性的技術(shù)難題。,1.課題的研究背景和意義,除了巨大的數(shù)據(jù)量以外，我們我們還面臨著其它一些問題，如：用來存儲天文數(shù)據(jù)的FITS文件的文件格式非常靈活，文件頭中WCS關(guān)鍵字內(nèi)容多種

4、多樣；投影平面到球面的坐標轉(zhuǎn)換算法多樣化；而且我國很多天文臺都有自己一套存儲格式。雖然能夠利用相關(guān)工具進行數(shù)據(jù)共享，數(shù)據(jù)分析及可視化，但還是會導(dǎo)致很多細節(jié)上存在問題，比如坐標之間的轉(zhuǎn)換，用ds9打開的FITS文件中所顯示的某一顆星的坐標，再用Aladin打開將會產(chǎn)生比較大的偏差。因此，這也是本課題所要研究并解決的問題之一。,1.課題的研究背景和意義,HEALPix技術(shù)及以其理論為基礎(chǔ)的HiPS技術(shù)能有效的解決前述問題。HEALPix以球

5、面諧波理論及球形幾何學(xué)為基礎(chǔ)，可以利用簡單的幾何框架及諧波分解理論將覆蓋在球面或者說天球的海量數(shù)據(jù)進行分層遞歸劃分網(wǎng)格，以減小數(shù)據(jù)量，同時對網(wǎng)格進行編碼，建立索引將數(shù)據(jù)合理分布及快速分析。其中的分層技術(shù)類似于數(shù)據(jù)庫中的四叉樹狀結(jié)構(gòu)，提高了人機交互的能力。近幾年來隨著對HEALPix技術(shù)的不斷研究，以其理論為基礎(chǔ)的HiPS技術(shù)慢慢發(fā)展起來。它是一種新型的層次數(shù)據(jù)的可視化技術(shù)，對離散網(wǎng)格以圖塊（tile）的方式進行管理，將感興趣的大型數(shù)據(jù)集

6、進行歸檔，實現(xiàn)數(shù)據(jù)的快速訪問、加載，最終實現(xiàn)多分辨率海量數(shù)據(jù)分層可視化。,2.相關(guān)技術(shù)研究進展,2.1 世界坐標系統(tǒng)WCS,天文數(shù)據(jù)的存儲主要是FITS圖像或星表，如何從FITS文件中的元數(shù)據(jù)獲取關(guān)鍵字信息，并利用相關(guān)算法將圖像的像素坐標轉(zhuǎn)換為實際坐標，再將實際像素坐標轉(zhuǎn)換為球面坐標，是我們進行可視化的基礎(chǔ)。左圖為像素坐標到實際坐標的轉(zhuǎn)換關(guān)系。,2.1 世界坐標系統(tǒng)WCS,球面坐標系在天文學(xué)中有多種，如赤道坐標系，銀道坐標系，黃道坐標系

7、，本地坐標系等等，而且從平面到球面的坐標轉(zhuǎn)換也存在不同的投影方式，如TAN表示Gnomonic投影，SIN表示orthographic投影等，如何利用FITS文件的關(guān)鍵字信息對其進行平面到球面的坐標轉(zhuǎn)換是關(guān)鍵問題。如左圖,2.2 HEALPix技術(shù),面對動輒上T、上P量級的數(shù)據(jù)規(guī)模，如何對分布在天球上的數(shù)據(jù)進行分析、編碼、整合從而保證在短時間內(nèi)高效的實現(xiàn)可視化的技術(shù)一直以來都是國內(nèi)外天文領(lǐng)域的研究熱點。解決這樣的問題首先要滿足球面幾何劃

8、分所要達到的三個條件： 1、數(shù)據(jù)的分層構(gòu)建。 2、球面的網(wǎng)格分區(qū)元素面積相等。 3、球面網(wǎng)格分區(qū)元素的同緯度分布。,2.2 HEALPix技術(shù),面對動輒上T、上P量級的數(shù)據(jù)規(guī)模，如何對分布在天球上的數(shù)據(jù)進行分析、編碼、整合從而保證在短時間內(nèi)高效的實現(xiàn)可視化的技術(shù)一直以來都是國內(nèi)外天文領(lǐng)域的研究熱點。解決這樣的問題首先要滿足球面幾何劃分所要達到的三個條件： 1、數(shù)據(jù)的分層構(gòu)建。 2、球面的網(wǎng)

9、格分區(qū)元素面積相等。 3、球面網(wǎng)格分區(qū)元素的同緯度分布。,HEALPix的球面網(wǎng)格劃分示意圖,在相同條件下，HEALPix比其他常用模型具有顯著的存儲優(yōu)勢，有利于數(shù)據(jù)的快速分析，編碼等。,2.2 HEALPix技術(shù),隨著HEALPix技術(shù)的廣泛應(yīng)用，從最初單純的數(shù)值分析，到海量數(shù)據(jù)的存儲、訪問，尤其是對數(shù)據(jù)庫的交叉索引方面有很大研究利用價值，再到目前對海量數(shù)據(jù)可視化方面的應(yīng)用也越來越被重視，利用HEALPix為理論基礎(chǔ)的很多技術(shù)

10、及應(yīng)用發(fā)展迅速，例如對球面全景圖像拼接技術(shù)的應(yīng)用，全球地形可視化技術(shù)的應(yīng)用，由法國斯特拉斯堡數(shù)據(jù)中心開發(fā)的數(shù)據(jù)整合工具Aladin，可以互動地可視化天空任何一部分圖像等等，都是基于HEALPix。,HiPS技術(shù)是一種新型的可以處理海量數(shù)據(jù)的分層可視化技術(shù)，是基于HEALPix發(fā)展而來，它是由法國斯特拉斯堡數(shù)據(jù)中心開發(fā)的，主要對大數(shù)據(jù)量，高分辨率的天文圖像，星表等數(shù)據(jù)格式進行多分辨率分層可視化。它將球面離散網(wǎng)格用圖塊的形式進行組織管理，將

11、映射到這些圖塊的圖片像素利用雙線性插值算法或最近鄰域算法等進行遞歸分層，根據(jù)分層級數(shù)的不同形成多分辨率圖像，并與之前的HEALPix對球面進行的分層結(jié)構(gòu)利用編碼建立聯(lián)系，并最終構(gòu)建樹狀結(jié)構(gòu)文檔。,2.3 HiPS——分層漸進巡天技術(shù),2015年10月，國際虛擬天文臺聯(lián)盟決定對HiPS進行標準化，初步的HiPS標準格式及注意事項可以在IVOA的網(wǎng)站上進行查詢。目前已經(jīng)有多個天文機構(gòu)對此項新興技術(shù)進行研究包括CDS、CNES、NASA、ES

12、AC、JAXA等，而且利用自己所獲取的數(shù)據(jù)或相互之間的共享數(shù)據(jù)來生成全天的宇宙星圖。CDS利用天文圖像及星表的數(shù)據(jù)所生成的宇宙星空，可以對其進行旋轉(zhuǎn)，縮進等操作，具有很高的互操作性。,2.3 HiPS——分層漸進巡天技術(shù),,,,,,,,,擬解決的關(guān)鍵問題,,課題研究內(nèi)容,可行性分析和創(chuàng)新點,,課題研究方案,3.課題研究概述,,,課題研究目標,,,,,目前很多天文機構(gòu)，例如CDS，NASA等都已經(jīng)生成了基于其所獲取的巨量數(shù)據(jù)集的HIPS文

13、件并實現(xiàn)了可視化，但對于我國目前存在種種問題，如望遠鏡所獲數(shù)據(jù)的精度不準確，F(xiàn)ITS文件格式的靈活性太高等等，并沒基于自己天文大數(shù)據(jù)的宇宙星空，這也是本課題的主要目標。,3.1 課題研究目標,,,,,,,,,(1) FITS文件數(shù)據(jù)提取，根據(jù)FITS文件頭提供的關(guān)鍵字等信息利用WCS對數(shù)據(jù)進行投影平面坐標到球面坐標的相互轉(zhuǎn)換。,(4) 用C++結(jié)合相關(guān)函數(shù)庫編寫程序。,(2) HEALPix技術(shù)如何對天球進行網(wǎng)格分區(qū)，如何對分區(qū)元素進行

14、編碼、索引，如何對網(wǎng)格進行分層，如何對大數(shù)據(jù)進行快速的數(shù)值分析等。,（3）HiPS技術(shù)如何通過分層結(jié)構(gòu)顯示多分辨率星空，如何構(gòu)建像素文檔結(jié)構(gòu)，如何通過編碼，索引快速訪問，加載數(shù)據(jù)。,3.2 課題研究內(nèi)容,,（1） FITS文件數(shù)據(jù)提取及數(shù)據(jù)坐標轉(zhuǎn)；（2）基于HEALPix球面離散網(wǎng)格劃分，編碼索引及分層；（3）如何生成HiPS文件；（4）程序的編寫、調(diào)試、優(yōu)化。,3.3 擬解決關(guān)鍵問題,,,,3.4 可行性分析和創(chuàng)新點,3.4 課

15、題研究方案,,,,3.4 課題研究方案,,國家天文臺提供的SCUSS、LAMOST等相關(guān)巡天項目的海量天文數(shù)據(jù)集。,(a),3.5 可行性分析和創(chuàng)新點,,HEALPix理論的支持，HiPS技術(shù)的逐漸成熟及其標準化，WCS、HEALPix的相關(guān)類庫。已有的天文數(shù)據(jù)可視化工具等。,(b),,在程序編寫方面，本人已對相關(guān)計算機技術(shù)，數(shù)據(jù)可視化技術(shù)，數(shù)字圖像處理以及對編程語言JAVA、C++、Python進行學(xué)習(xí)。,(c),,對FITS文件中W

16、CS關(guān)鍵字進行讀取并統(tǒng)一坐標轉(zhuǎn)換的格式，獲得精確的位置坐標；利用HIPS技術(shù)建立基于我國天文大數(shù)據(jù)集的首個漸進分層多分辨率的宇宙星空。研究成果將集成到中國虛擬天文臺平臺，為全球用戶提供服務(wù)。這項工作將填補國內(nèi)空白，是第一次嘗試將國內(nèi)天文觀測的海量圖像數(shù)據(jù)用HiPS的模式實現(xiàn)交互式、球幕式顯示。,3.5 可行性分析和創(chuàng)新點,編寫FITS文件的讀取及WCS的坐標轉(zhuǎn)換算法，實現(xiàn)投影平面到球面的精確位置坐標。深入了解HEALPix如何球面網(wǎng)格

17、劃分，分層，編碼及索引，并進行編程實踐。,完成調(diào)研和文獻檢索，總結(jié)現(xiàn)有理論和技術(shù)成果，設(shè)計總體研究方案,了解HiPS是如何生成分層多分辨率可視化及構(gòu)建樹狀結(jié)構(gòu)像素文檔過程的步驟，并通過編寫程序來實現(xiàn)這一步驟。,2015.11-2015.12,2016.01-2016.03,2016.04-2016.09,,,4.進度安排及預(yù)期結(jié)果,2016.10-2017.03,將程序進行優(yōu)化整合，發(fā)表論文，申請軟件著作權(quán)。,,2016.10-2