24873.分布式并行計算環(huán)境下gml空間數(shù)據(jù)的劃分策略及算法研究

1、I摘要摘要GML具有簡單性、半結構化、互操作性、開放性、通用性、靈活性等特點，因而在諸多領域得到了廣泛應用。隨著地理信息領域求解問題的不斷拓展，所遇到的問題也越來越復雜，規(guī)模越來越大，傳統(tǒng)GIS的空間數(shù)據(jù)存儲與空間分析算法的效率優(yōu)化和性能提升無法滿足海量數(shù)據(jù)的存儲與空間運算需求。利用分布式并行計算平臺可以很好地解決這一問題。分布式并行系統(tǒng)的優(yōu)劣很大程度取決于數(shù)據(jù)劃分策略的好壞，而目前空間數(shù)據(jù)的劃分方法沒有考慮空間關聯(lián)關系。因此針對一種適

2、合GML空間數(shù)據(jù)的綜合考慮負載平衡、鄰近程度、面積平衡及空間關聯(lián)關系的空間數(shù)據(jù)劃分方法，本文取得了以下研究成果：第一，研究分析了基于Hilbert空間排列碼的空間數(shù)據(jù)劃分和基于K平均聚類算法的空間數(shù)據(jù)劃分兩種算法的缺點。前者在保持各結點的空間數(shù)據(jù)所占范圍平衡性上表現(xiàn)不佳，而后者則由于初始質(zhì)心的不確定性導致劃分結果不穩(wěn)定。第二，結合Hilbert空間排列碼和K平均聚類算法，并綜合考慮對象的空間關聯(lián)關系提出一種新的GML數(shù)據(jù)劃分算法。該算法

3、考慮了各結點負載平衡、對象的鄰近程度、面積平衡及對象間的空間關聯(lián)關系。最后，根據(jù)提出的GML空間數(shù)據(jù)劃分算法，分析設計了GML分布式存儲系統(tǒng)，完成了基于Hadoop平臺的分布式并行GML存儲系統(tǒng)的數(shù)據(jù)劃分模塊。通過系統(tǒng)驗證了數(shù)據(jù)劃分算法的負載平衡性，并與acleSpatial和基于K平均聚類的空間數(shù)據(jù)劃分算法的并行加速比做了比較分析，與Hilbert碼劃分算法做了等分區(qū)域查詢效率對比。結果表明，本劃分算法擁有良好的負載平衡性和優(yōu)秀的并行

4、查詢效率。關鍵詞：關鍵詞：GML分布式計算并行計算數(shù)據(jù)劃分HadoopIII目錄目錄摘要........................................................................IAbstract...................................................................II目錄........................

5、..............................................III第一章緒論...............................................................11.1研究背景及意義....................................................11.2國內(nèi)外研究現(xiàn)狀.............................

6、.......................11.2.1國內(nèi)外分布式并行計算研究現(xiàn)狀..................................11.2.2國內(nèi)外分布式空間數(shù)據(jù)劃分的研究現(xiàn)狀............................41.2.3國內(nèi)外GML空間數(shù)據(jù)存儲研究現(xiàn)狀................................41.3本文的主要內(nèi)容...........................

7、.........................5第二章分布式并行計算與GML概述...........................................62.1分布式并行計算概述................................................62.1.1分布式計算....................................................62.1.2并行計算.

8、.....................................................72.1.3分布式并行計算的應用..........................................82.2分布式并行計算關鍵技術............................................82.2.1網(wǎng)格計算關鍵技術....................................

9、..........82.2.2云計算關鍵技術................................................92.3分布式并行數(shù)據(jù)庫.................................................102.4GML概述...........................................................112.4.1GML概念.......

10、...............................................112.4.2GML的主要模式................................................122.4.3GML空間數(shù)據(jù)特征..............................................142.4.4GML數(shù)據(jù)解析..................................

11、................15第三章分布式并行計算環(huán)境下GML空間數(shù)據(jù)的劃分............................163.1Hilbert空間排列碼.................................................163.1.1Hilbert碼描述................................................163.1.2Hilbert碼在空間數(shù)據(jù)

12、劃分中的應用..............................173.2K平均聚類算法....................................................173.2.1算法描述.....................................................173.2.2算法在空間數(shù)據(jù)劃分中的應用...................................1