基于HBase的衛(wèi)星空間數(shù)據(jù)查詢系統(tǒng)設(shè)計與性能分析.pdf

1、隨著航天技術(shù)與信息技術(shù)的融合，數(shù)據(jù)感知和采集范圍得到極大的擴展，衛(wèi)星空間數(shù)據(jù)資源的儲備急速提升。衛(wèi)星空間數(shù)據(jù)的4V(Volumn、Variety、Value、Velocity)特性，使得傳統(tǒng)SQL型數(shù)據(jù)庫因擴展性、并行性方面的限制，其存儲及操作技術(shù)難以滿足衛(wèi)星空間數(shù)據(jù)的分析需求。而近年來快速發(fā)展的基于可并行計算和可擴展存儲的Hadoop和HBase技術(shù)，為解決海量數(shù)據(jù)的存儲和查詢提供了一種有效途徑。
　　如果缺乏系統(tǒng)的良好總體設(shè)計

2、，衛(wèi)星數(shù)據(jù)的時間特性及HBase中Rowkey的字典序排序特點，在實際應(yīng)用中數(shù)據(jù)存入系統(tǒng)時容易造成系統(tǒng)的熱點問題，影響系統(tǒng)的負載均衡及存儲查詢性能;同時隨著導(dǎo)入系統(tǒng)的空間數(shù)據(jù)量增加，將促使系統(tǒng)Region不斷地分裂和合并，對系統(tǒng)的寫性能造成影響。此外，針對多維空間數(shù)據(jù)的范圍查詢，HBase基于列的查詢需要進行全表掃描，導(dǎo)致查詢效率低下，難以滿足系統(tǒng)實際的查詢需求。故針對以上問題分別從存儲和查詢兩方面進行系統(tǒng)設(shè)計。在存儲方面，提出了空間數(shù)

3、據(jù)散列設(shè)計和系統(tǒng)預(yù)分區(qū)方案，有效地避免了系統(tǒng)的熱點問題，實現(xiàn)了系統(tǒng)的負載均衡，同時，提高了系統(tǒng)的寫性能;在查詢方面，提出了一種GKD-HBase索引模型，結(jié)合了Grid和KD樹兩種索引方法，分別將二者作為第一和第二索引;使用Hilbert空間填充曲線對多維數(shù)據(jù)進行降維處理，將其轉(zhuǎn)化為一維數(shù)據(jù)進行查詢，從而有效提高系統(tǒng)的查詢效率。最后，對本文設(shè)計的查詢系統(tǒng)在存儲和查詢兩方面進行性能測試分析。結(jié)果表明，對海量空間數(shù)據(jù)進行Rowkey散列和對

4、系統(tǒng)進行預(yù)分區(qū)設(shè)計能有效避免系統(tǒng)集群的熱點問題，使系統(tǒng)達到負載均衡，并得出當(dāng)Region大小為7G時候，系統(tǒng)寫性能達到最優(yōu)的結(jié)論。在大數(shù)據(jù)環(huán)境下，本文提出的GKD-HBase索引能夠高效進行海量多維空間數(shù)據(jù)的范圍查詢，與Grid索引相比具有顯著性能優(yōu)勢，并為基于HBase衛(wèi)星空間數(shù)據(jù)查詢的實際應(yīng)用提供有力支撐。
　　對衛(wèi)星空間數(shù)據(jù)的查詢結(jié)果進行關(guān)聯(lián)分析可挖掘出大量潛在的海上或空中目標(biāo)信息（如通過航空數(shù)據(jù)對海上及空中目標(biāo)進行識別和追