分布式并行環(huán)境下林地落界數(shù)據(jù)快速統(tǒng)計技術(shù)研究.pdf

1、林地管理是森林資源管理的基礎(chǔ)，國家為了進(jìn)一步提升森林資源的整體監(jiān)測和管理水平，在《全國林地保護(hù)利用規(guī)劃綱要（2010-2020年）》的指導(dǎo)下，開展全國林地“一張圖”建設(shè)。其中整合了近期高分辨率遙感數(shù)據(jù)、林地落界數(shù)據(jù)、基礎(chǔ)地理數(shù)據(jù)以及林業(yè)相關(guān)數(shù)據(jù)，形成了涉及各級（縣、省、國家）微觀或至宏觀管理與應(yīng)用需要的多尺度多業(yè)務(wù)類型的海量數(shù)據(jù)，僅林地落界小班數(shù)據(jù)已達(dá)6738.88萬條。隨著林地數(shù)據(jù)呈指數(shù)增長，面臨體量如此巨大、數(shù)據(jù)類型繁多、高速變化、

2、價值密度低的空間數(shù)據(jù)，當(dāng)前系統(tǒng)中采用的數(shù)據(jù)模型和統(tǒng)計技術(shù)對支持海量數(shù)據(jù)多維快速統(tǒng)計的局限性表現(xiàn)得越來越突出。因此本文在分布式并行環(huán)境下，對林地落界數(shù)據(jù)統(tǒng)計的數(shù)據(jù)模型和快速統(tǒng)計技術(shù)進(jìn)行研究。
　　本文針對林地“一張圖”系統(tǒng)中面臨的海量數(shù)據(jù)動態(tài)統(tǒng)計的問題，以多維數(shù)據(jù)模型、并行計算、數(shù)據(jù)挖掘等理論和技術(shù)為基礎(chǔ)，通過對多維統(tǒng)計模型、并行數(shù)據(jù)優(yōu)化部署、并行統(tǒng)計計算、統(tǒng)計結(jié)果匯集與緩存管理這四個關(guān)鍵技術(shù)的研究，形成了一個高效、快速的森林資源數(shù)

3、據(jù)統(tǒng)計技術(shù)體系，并通過設(shè)計實驗對相關(guān)技術(shù)點進(jìn)行驗證，實驗結(jié)果表明文章提出的數(shù)據(jù)模型和技術(shù)適合林地落界數(shù)據(jù)多維動態(tài)統(tǒng)計的需求。本文所做研究如下:(1)林地落界統(tǒng)計應(yīng)用需求和數(shù)據(jù)特點分析，提出了分布式并行環(huán)境下林地落界快速統(tǒng)計技術(shù)體系，并對體系中涉及的多維統(tǒng)計模型、并行數(shù)據(jù)優(yōu)化部署、并行統(tǒng)計計算、統(tǒng)計結(jié)果匯集與緩存管理內(nèi)容給出了解決思路。(2)林地落界數(shù)據(jù)多維統(tǒng)計模型研究。通過對林地落界數(shù)據(jù)特點和統(tǒng)計尺度分析，建立基于星型模型的林地落界數(shù)據(jù)

4、立方體，構(gòu)建因子組合模型，并在基礎(chǔ)上結(jié)合統(tǒng)計尺度，構(gòu)建因子組合統(tǒng)計模型，實現(xiàn)不同尺度下的林地落界數(shù)據(jù)多維屬性統(tǒng)計和空間統(tǒng)計。(3)林地落界數(shù)據(jù)優(yōu)化部署研究。通過對林地落界統(tǒng)計粒度的劃分與分配、索引體系研究，解決統(tǒng)計粒度在分布式并行環(huán)境下的管理問題。對林地落界統(tǒng)計任務(wù)的內(nèi)涵進(jìn)行分析，確定把維表在各節(jié)點復(fù)制，對林地落界事實表進(jìn)行劃分的數(shù)據(jù)劃分思路。結(jié)合應(yīng)用場景的特點，提出了基于Hilbert空間填充曲線的動態(tài)網(wǎng)格空間數(shù)據(jù)劃分算法，從而確定林

5、地落界統(tǒng)計粒度的大小。在此基礎(chǔ)上，提出了基于任務(wù)量和圖著色理論的空間數(shù)據(jù)部署方案。并基于統(tǒng)計特征，提出了基于GTMPR-tree(Graphy-Coloring theory based Multi-tiers Parallel R-tree)的多層索引體系。并通過測試表明以縣為單位的空間數(shù)據(jù)粒度存儲單位更適合并行快速統(tǒng)計的需求，且通過變異系數(shù)(C.V)衡量通過任務(wù)量改進(jìn)的基于圖著色的空間部署方案，結(jié)果表明改進(jìn)的算法使得數(shù)據(jù)在各節(jié)點的分

6、布更為均衡，均衡度提高了2倍多。(4)林地落界數(shù)據(jù)并行統(tǒng)計計算研究。通過給出統(tǒng)計任務(wù)粒度的大小，并行統(tǒng)計計算模型，以及提出基于GTMPR-tree的任務(wù)劃分模型，解決了統(tǒng)計任務(wù)資源調(diào)度的問題。(5)統(tǒng)計結(jié)果匯集和緩存管理研究。針對影響統(tǒng)計效率的統(tǒng)計結(jié)果和緩存，給出了基于靜態(tài)緩存表和動態(tài)語義緩存的二級緩存機構(gòu)和混合緩存管理策略，進(jìn)一步提出了基于相關(guān)性分析的緩存優(yōu)化模型和基于評價機制的統(tǒng)計更新模型，來優(yōu)化統(tǒng)計緩存。通過實驗給出了潛在的有價值