遙感大數(shù)據(jù)處理系統(tǒng)測試策略與系統(tǒng)優(yōu)化.pdf

1、隨著全球觀測時代的到來,衛(wèi)星遙感信息正對人類社會發(fā)展的各個領(lǐng)域起著重大的促進(jìn)作用,傳感器分辨率的不斷提高,每天產(chǎn)生的遙感影像也急劇增長,遙感影像作為一種特殊的大數(shù)據(jù),以其快速獲取高分辨率影像的特點(diǎn)占有著越來越重要的地位,海量遙感數(shù)據(jù)的快速處理成為了越來越勢不可擋的需求,而目前的遙感處理軟件已無法滿足其需求。我國針對大規(guī)模的遙感數(shù)據(jù)以及多行業(yè)多區(qū)域的應(yīng)用需求在國務(wù)院《國家中長期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要(2006-2020年)》中提出了16個

2、重大專項(xiàng),高分辨率對地觀測系統(tǒng)是其中一大專項(xiàng)。而GF信息產(chǎn)品“生產(chǎn)線”系統(tǒng)項(xiàng)目是高分辨率對地觀測系統(tǒng)專項(xiàng)的重要組成部分。本文是根據(jù)作者在參與GF信息產(chǎn)品“生產(chǎn)線”系統(tǒng)項(xiàng)目時,負(fù)責(zé)在原有遙感大數(shù)據(jù)處理系統(tǒng)的基礎(chǔ)上對GF信息產(chǎn)品“生產(chǎn)線”系統(tǒng)架構(gòu)進(jìn)行測試和優(yōu)化設(shè)計部分所做工作的提煉,也是遙感應(yīng)用推廣和遙感大數(shù)據(jù)處理的關(guān)鍵問題。
　　首先,根據(jù)遙感處理系統(tǒng)的特性設(shè)定了測試策略并有效地進(jìn)行了系統(tǒng)測試與分析。第二章中分析了現(xiàn)有遙感大數(shù)據(jù)處理

3、系統(tǒng)的體系結(jié)構(gòu)、技術(shù)流程、運(yùn)行環(huán)境、系統(tǒng)組成和各模塊的功能,在此基礎(chǔ)上第三章針對集群式遙感處理系統(tǒng)的功能和性能的特點(diǎn)對原系統(tǒng)的測試策略進(jìn)行了合理的設(shè)計和規(guī)劃,如嚴(yán)格選定了測試環(huán)境、測試方法以及測試用例,接著對每個子系統(tǒng)的功能進(jìn)行了測試與分析,也對系統(tǒng)性能如任務(wù)調(diào)度機(jī)制以及GPU加速比等進(jìn)行了測試。該測試策略的測試用例條條清晰、性能指標(biāo)詳細(xì)具體和功能目標(biāo)明確,提高了測試效率,發(fā)現(xiàn)并總結(jié)了現(xiàn)有的系統(tǒng)架構(gòu)中不完善的地方和需要改進(jìn)的技術(shù)等等,為

4、后續(xù)的架構(gòu)優(yōu)化提供了可參考性,保障了系統(tǒng)的運(yùn)行效果。
　　其次,設(shè)計了一種新的架構(gòu)—海量遙感影像的快速軟硬一體化處理系統(tǒng)。通過對原有系統(tǒng)的測試,發(fā)現(xiàn)遙感大數(shù)據(jù)處理系統(tǒng)雖然具備良好的產(chǎn)品生產(chǎn)能力,但針對遙感影像的架構(gòu)體系仍然相對不夠成熟,仍存在響應(yīng)時間和計算速度等方面的問題,所以本文在對現(xiàn)有系統(tǒng)測試分析的基礎(chǔ)上提出了改進(jìn)軟硬件的優(yōu)化方案,在方案中設(shè)計了Infiniband、光纖交換機(jī)、小巨人等整個系統(tǒng)的部署方案與軟硬件配置,并且對系

5、統(tǒng)流程和硬件結(jié)構(gòu)都重新進(jìn)行了優(yōu)化設(shè)計,同時融入了有效的控制數(shù)據(jù)流、GPU處理流程優(yōu)化和快速存儲的新技術(shù),本文優(yōu)化設(shè)計后的架構(gòu)方案能夠滿足大容量、高I/O帶寬以及高擴(kuò)展性的遙感處理系統(tǒng)的需求。
　　最后,從功能和性能的角度對新架構(gòu)進(jìn)行了模擬測試和評價分析。對比分析優(yōu)化后的各種指標(biāo)和原系統(tǒng)的指標(biāo),包括訂單處理時間的對比、多任務(wù)并發(fā)響應(yīng)時間的對比、并行計算節(jié)點(diǎn)執(zhí)行子任務(wù)的時間對比等,同時也評價了新架構(gòu)的易用性、穩(wěn)定性、可靠性和自適應(yīng)能力