基于HBase的矢量空間數(shù)據(jù)存取關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)和空間信息獲取技術(shù)的發(fā)展、全球信息化推進(jìn)和GIS（地理信息系統(tǒng)）的廣泛應(yīng)用，空間數(shù)據(jù)高速增長。面對日益增長的海量空間數(shù)據(jù)，傳統(tǒng)的空間數(shù)據(jù)管理方案面臨高并發(fā)讀寫以及擴(kuò)展性等等瓶頸。而云計(jì)算高擴(kuò)展的存儲能力以及強(qiáng)大的計(jì)算能力則可以滿足海量數(shù)據(jù)存儲、大數(shù)據(jù)并行處理、高并發(fā)檢索等方面的需求。鑒于云計(jì)算技術(shù)的諸多優(yōu)點(diǎn)，論文針對如何利用云計(jì)算技術(shù)實(shí)現(xiàn)對海量矢量空間數(shù)據(jù)的存取展開研究。重點(diǎn)對云平臺下矢量空間數(shù)據(jù)的存儲模型、空間索引構(gòu)建、數(shù)

2、據(jù)組織方案、數(shù)據(jù)的導(dǎo)入、空間查詢策略以及在HBase上進(jìn)行屬性SQL查詢等進(jìn)行了研究與設(shè)計(jì)。論文圍繞以下幾個方面開展工作：
　?。?）矢量空間數(shù)據(jù)云存儲與檢索研究背景介紹及相關(guān)理論技術(shù)分析。論文闡述了海量空間數(shù)據(jù)存儲云存取的研究背景以及意義；分析了當(dāng)前國內(nèi)外云計(jì)算概況及空間數(shù)據(jù)云存取的研究現(xiàn)狀以及當(dāng)前研究的不足；結(jié)合MapReduce并行計(jì)算框架特性深入分析了MapReduce的矢量空間數(shù)據(jù)并行處理可行性，并探討分布式數(shù)據(jù)庫HBa

3、se以及SQL On Hadoop相關(guān)云計(jì)算技術(shù)存儲和管理海量矢量空間數(shù)據(jù)的優(yōu)勢。
　?。?）構(gòu)建了基于HBase的矢量空間數(shù)據(jù)存儲模型以及NoSQL模型與關(guān)系模型一體化的矢量空間數(shù)據(jù)的管理方案。針對矢量空間數(shù)據(jù)的特點(diǎn)，結(jié)合HBase數(shù)據(jù)模型，設(shè)計(jì)了矢量空間數(shù)據(jù)存儲模型，并采用四叉樹層次剖分技術(shù)設(shè)計(jì)了多級格網(wǎng)索引；結(jié)合空間信息多級格網(wǎng)編碼和Hilbert空間填充曲線的聚類特性，設(shè)計(jì)了符合HBase數(shù)據(jù)庫RowKey存儲規(guī)則的矢量空

4、間數(shù)據(jù)標(biāo)識編碼；根據(jù)HBase數(shù)據(jù)庫存儲規(guī)則以及Phoenix操作結(jié)構(gòu)化數(shù)據(jù)特性，提出并設(shè)計(jì)了NoSQL模型與關(guān)系模型一體化的矢量空間數(shù)據(jù)的管理方案。
　　（3）設(shè)計(jì)了矢量空間數(shù)據(jù)入庫以及并行構(gòu)建空間索引策略。結(jié)合MapReduce并行處理特性討論并設(shè)計(jì)了單機(jī)導(dǎo)入和基于MapReduce并行處理矢量空間數(shù)據(jù)的入庫方案以及基于MapReduce設(shè)計(jì)了并行構(gòu)建空間索引方案。
　?。?）根據(jù)多級網(wǎng)格索引策略設(shè)計(jì)了空間查詢策略。根據(jù)

5、不同空間查詢算子、多級網(wǎng)格索引特點(diǎn)以及 HBase掃描查詢數(shù)據(jù)特性，設(shè)計(jì)并實(shí)現(xiàn)了空間查詢算子優(yōu)化策略、合并網(wǎng)格編碼優(yōu)化查詢策略以及限制掃描列簇優(yōu)化數(shù)據(jù)過濾策略等三種空間查詢優(yōu)化策略。
　　最后設(shè)計(jì)并實(shí)現(xiàn)了基于 HBase的矢量空間數(shù)據(jù)存取原型系統(tǒng)，實(shí)現(xiàn)了網(wǎng)格索引以及多級網(wǎng)格索引，通過網(wǎng)格索引與多級網(wǎng)格索引空間查詢效率對比實(shí)驗(yàn)，驗(yàn)證了多級網(wǎng)格索引的有效性。并基于多級網(wǎng)格索引，驗(yàn)證了空間查詢算子優(yōu)化策略、合并網(wǎng)格編碼優(yōu)化查詢策略以及限