海量空間環(huán)境數(shù)據(jù)分布式并行處理關(guān)鍵技術(shù)研究.pdf

1、空間環(huán)境數(shù)據(jù)集是衛(wèi)星探測器載荷對(duì)空間環(huán)境采樣而來的一個(gè)持續(xù)增大的數(shù)據(jù)集。隨著探測器衛(wèi)星及其探測器載荷的增多,這一數(shù)據(jù)集對(duì)空間環(huán)境的描述也將越來越細(xì)粒度,增度也將越來越快。面對(duì)海量的空間環(huán)境數(shù)據(jù),較多的研究集中于針對(duì)該TB級(jí)數(shù)據(jù)中一個(gè)小子集數(shù)據(jù)的可視化設(shè)計(jì)實(shí)現(xiàn)中,且受單機(jī)計(jì)算能力限制,海量的空間環(huán)境數(shù)據(jù)中蘊(yùn)含的大量統(tǒng)計(jì)學(xué)角度講很有價(jià)值的信息還沒有被挖掘出來。1)海量存儲(chǔ)和現(xiàn)有文件系統(tǒng)之間的矛盾;2)海量計(jì)算需求與單機(jī)計(jì)算能力限制之間的矛盾

2、,將越來越突出。
　　分布式并行計(jì)算技術(shù)能夠改善以上兩個(gè)矛盾。本文以分布式計(jì)算框架中一個(gè)優(yōu)秀的實(shí)現(xiàn)Hadoop為例,將分布式并行計(jì)算技術(shù)引入到空間環(huán)境數(shù)據(jù)分析中來。并針對(duì)以上兩個(gè)矛盾展開了兩部分內(nèi)容的研究。
　　(1)空間環(huán)境數(shù)據(jù)的分布式存儲(chǔ)。首先討論空間環(huán)境數(shù)據(jù)的形式、特點(diǎn)和應(yīng)用,分析衛(wèi)星數(shù)據(jù)的分布式并行化處理需求及其可行性。從存儲(chǔ)和并行計(jì)算兩個(gè)子框架出發(fā)對(duì)分布式并行機(jī)理進(jìn)行闡述。然后,歸納總結(jié)空間環(huán)境數(shù)據(jù)HDFS小文件問

3、題現(xiàn)狀及其解決方向,結(jié)合衛(wèi)星數(shù)據(jù)的形式和特點(diǎn),通過改進(jìn)小文件合并形式及提出DTBF算法等改善衛(wèi)星數(shù)據(jù)的小文件集在分布式文件系統(tǒng)上的低讀寫效率和高內(nèi)存使用問題,并設(shè)計(jì)實(shí)現(xiàn)空間環(huán)境數(shù)據(jù)分布式文件管理器。
　　(2)空間環(huán)境數(shù)據(jù)并行化計(jì)算。針對(duì)空間環(huán)境數(shù)據(jù)的并行計(jì)算需求,本文通過使用元數(shù)據(jù)文件設(shè)計(jì)實(shí)現(xiàn)空間環(huán)境數(shù)據(jù)的統(tǒng)一預(yù)處理模型,用以解決其數(shù)據(jù)集成、清洗、變換和簡化的預(yù)處理需求。接著分析空間環(huán)境數(shù)據(jù)分析的算法級(jí)和任務(wù)級(jí)并行化,并提出一種

4、映射任務(wù)滿載的任務(wù)并行推送MFL-TP算法來優(yōu)化空間環(huán)境數(shù)據(jù)分析中多子任務(wù)并行的運(yùn)行效率。最后,引入Kmeans聚類算法來解決典型空間環(huán)境數(shù)據(jù)的分析任務(wù)中可視化分析的不足,并實(shí)現(xiàn)該聚類算法的并行化以解決其在大量數(shù)據(jù)中的內(nèi)存和運(yùn)行時(shí)間瓶頸問題。
　　本文搭建空間環(huán)境分布式實(shí)驗(yàn)集群,對(duì)提出的改進(jìn)空間環(huán)境數(shù)據(jù)HDFS內(nèi)存利用和文件訪問方法進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)驗(yàn)證達(dá)到了預(yù)期的設(shè)計(jì)目標(biāo)。對(duì)并行Kmeans算法和MFL-TP算法的實(shí)驗(yàn)也驗(yàn)證了算法并