基于NoSQL的時空數據模型構建和存儲方案研究.pdf

1、隨著人類社會不斷信息化、數字化和智能化，時空數據在國民經濟與日常生活中發(fā)揮著日益重要的作用，不斷被應用于各個領域，如事件預測、環(huán)境監(jiān)測、城市演化、交通管理、地震救援、全球或區(qū)域氣候、物流配送、實時GIS、面向大數據的時空數據挖掘與分析等。時空數據系統(tǒng)是一種對數據進行采集、儲存、分析處理和可視化的信息系統(tǒng)，既是對現實世界的模擬和進行空間數據分析處理的手段，也是一門對時空數據信息處理分析的科學技術。怎樣在大數據環(huán)境下解決時空數據的存儲和分析

2、計算是業(yè)界的研究熱點。
　　時空數據庫作為時空數據系統(tǒng)的核心，是時空數據系統(tǒng)進行存儲和計算的基礎，由于傳統(tǒng)時空數據模型基于關系型數據庫構建和存儲，所以必須將問題領域模型轉換成關系結構，轉換代價較高，存儲時將空間信息和時間信息割裂開來，同時關系型數據庫受范式限制難于擴展、靈活性差、對于較為復雜的查詢涉及大量連接操作，導致效率急劇下降。因此需要尋找能夠對時空數據統(tǒng)一建模和存儲的解決方案。
　　NoSQL是大數據環(huán)境下發(fā)展起來的非

3、關系型、可水平擴展的、分布式的數據庫，能夠處理半結構化、結構化的數據，支持高并發(fā)的讀寫，存儲模型包含鍵值、列族、文檔、圖等。NoSQL擺脫了關系型數據庫范式限制和ACID約束，沒有固定表結構和低效的連接操作，基于CAP理論、BASE并發(fā)事務模型和最終一致性，因此具有更好的伸縮性和靈活性。NoSQL為海量數據的存儲和云計算環(huán)境下的數據分析與計算提供了堅實的基礎，能夠有效存儲格式多樣、數據量大、關系復雜的時空數據。
　　本文首先對主流

4、的時空數據模型和存儲方案進行了系統(tǒng)的分析，介紹了國內外研究現狀；然后詳細介紹了時空數據特點和代表性數據模型，闡述了NoSQL數據庫的理論、數據模型以及相對于關系型數據庫的優(yōu)勢；提出了基于NoSQL的時空數據模型和存儲的總體架構，分析了Hadoop結合MongoDB的時空數據模型構建與存儲，針對柵格數據與矢量數據特征結合MongoDB基于文檔存儲模型，設計了相應的數據轉換模塊和柵格數據、矢量數據存儲模型，結合Hadoop對大數據的處理能力

5、，介紹了基于MongoDB存儲和Hadoop分析、計算的典型應用；利用Neo4j對具有復雜關系的時空數據進行建模和存儲，提出了基于圖數據庫的時空數據時間表達和空間表達方法，應用實例說明了該模型的可行性，并且介紹了Neo4jSpatial庫在時空數據處理方面的高效性和Neo4j集群架構；最后,基于曙光的XDATA-HADOOP平臺搭建了MongoDB與Neo4j，對論文提出的架構搭建了原型系統(tǒng)，在原型系統(tǒng)上進行了測試，測試結果分析表明了論