一種基于MongoDB和HDFS的大規(guī)模遙感數(shù)據(jù)存儲系統(tǒng)的設計與實現(xiàn).pdf

1、遙感數(shù)據(jù)有多標準、多類型、多尺度、多級別、海量以及分布式存儲的特征。隨著遙感技術和信息處理技術的不斷進步，不同類型、不同級別的遙感數(shù)據(jù)不斷涌現(xiàn)，社會各領域對遙感觀測數(shù)據(jù)的需求越來越大，我國各部門和科研機構都建立了針對各行業(yè)不同資源類型、彼此異構的遙感影像庫，形成了一個分布式的、異構的、跨部門的、跨地域、資源類型多樣的遙感數(shù)據(jù)庫群，大大制約了各部門間遙感數(shù)據(jù)的共享和應用。為了滿足對遙感數(shù)據(jù)的管理及共享需求，我們實現(xiàn)了一個基于MongoDB

2、和HDFS的大規(guī)模遙感數(shù)據(jù)存儲系統(tǒng)，本文介紹了系統(tǒng)的詳細設計與實現(xiàn)，并重點介紹了異構遙感元數(shù)據(jù)集成以及海量遙感數(shù)據(jù)高效存儲兩項關鍵技術。
　　 針對遙感元數(shù)據(jù)多源、異構、海量等特點本文提出了一種基于映射模板的異構遙感元數(shù)據(jù)集成方法，可以實現(xiàn)異構遙感元數(shù)據(jù)的格式化統(tǒng)一及高效存儲。并具有支持元數(shù)據(jù)動態(tài)擴展的能力，可以解析不斷涌現(xiàn)的新類型新格式遙感元數(shù)據(jù)，解決了以往的元數(shù)據(jù)管理系統(tǒng)擴展性兼容性差且不利于數(shù)據(jù)共享的問題。
　　

3、遙感元數(shù)據(jù)特點是異構、只讀、小文件、海量。而遙感影像數(shù)據(jù)不但具有只讀、海量的特點，而且單個遙感影像數(shù)據(jù)文多為GB數(shù)量級的大文件，而且多為冷數(shù)據(jù)訪問頻次少。系統(tǒng)的存儲層通過采用遙感元數(shù)據(jù)和遙感影像數(shù)據(jù)分離存放的策略，并針對兩種數(shù)據(jù)的特點進行了優(yōu)化。針對遙感元數(shù)據(jù)采用了基于MongoDB的存儲架構，系統(tǒng)不但能夠提供高效的數(shù)據(jù)存儲，而且具有高可靠性、高擴展性的特點。針對遙感影像數(shù)據(jù)系統(tǒng)采用基于HDFS的分布式文件存儲架構，而且為了提高存儲資源