基于大數(shù)據(jù)技術(shù)的滑坡災(zāi)害評估模型的優(yōu)化及實現(xiàn).pdf

1、滑坡，屬于一種高發(fā)并且?guī)韲?yán)重危害的地質(zhì)災(zāi)害，滑坡帶來的危害包括巨額的經(jīng)濟損失以及慘痛的人員傷亡，并且影響社會的安定?；聻?zāi)害在我國分布范圍較廣，如四川、貴州等地的地質(zhì)構(gòu)造復(fù)雜多樣，是滑坡災(zāi)害的高發(fā)地區(qū)。近幾年來，隨著人類活動的大規(guī)模進(jìn)行，崩塌滑坡泥石流等地質(zhì)災(zāi)害發(fā)生頻繁，災(zāi)害的預(yù)防工作尤為重要。因此，提供更加準(zhǔn)確的方法來進(jìn)行滑坡災(zāi)害的防治，已經(jīng)是非常急迫的任務(wù)。當(dāng)災(zāi)害發(fā)生時，首要任務(wù)是做出正確且快速的應(yīng)急決策，對于災(zāi)害管理工作而言，如

2、何能對地質(zhì)災(zāi)害的發(fā)生及發(fā)展做出快速而準(zhǔn)確的評估工作，是一個亟待解決的問題，所以，研究如何提高地質(zhì)災(zāi)害評估的效率更具有研究價值和現(xiàn)實意義。
　　本文介紹了研究滑坡的意義、國內(nèi)外對于滑坡研究的進(jìn)展和現(xiàn)狀以及云平臺的相關(guān)知識和評估模型的基本理論。選取隨機森林模型作為實驗?zāi)Ｐ?，選取山西省2000年以來的全省地貌、巖土體、地質(zhì)構(gòu)造、地震峰值加速度、坡度、降水量等1：50萬基礎(chǔ)資料，搭建了Hadoop大數(shù)據(jù)平臺，利用MapReduce并行編程

3、框架，通過此并行計算框架對模型進(jìn)行并行化設(shè)計，并對改進(jìn)后的模型進(jìn)行有效性驗證等工作，實驗得到以下結(jié)論：
　　1.在單節(jié)點上對模型改進(jìn)后的準(zhǔn)確性進(jìn)行驗證。并行化改進(jìn)后的隨機森林模型精度相對于傳統(tǒng)的串行隨機森林模型的精度較高，說明改進(jìn)后的模型具有一定的可行性與實用性。
　　2.在Hadoop平臺上，在機器數(shù)目不同的情況下，進(jìn)行算法執(zhí)行時間的比較。當(dāng)選取的滑坡樣本數(shù)據(jù)的總量不變時，平臺機器數(shù)目增加，算法執(zhí)行時間減少，說明模型改進(jìn)后

4、的運行效率提高。
　　3.進(jìn)而又考慮了不同的樣本總數(shù)，在運行1臺、2臺、3臺機器的情況下實驗效果：（1）樣本數(shù)據(jù)規(guī)模較小為Data1時，隨著服務(wù)器數(shù)量的增加，算法在運行時間上相差并不大。這是因為在Hadoop平臺上進(jìn)行并行計算時，多臺設(shè)備間要通信以及數(shù)據(jù)交換，而這一過程對時間效率的損耗很大，算法效率時有下降。（2）當(dāng)樣本數(shù)據(jù)規(guī)模較大時，將單機情況與1臺機器參與運算進(jìn)行對比發(fā)現(xiàn)，這一過程曲線斜率最大，也就是說并行化以后的隨機森林模型

5、的運行時間的顯著減小，說明模型效率明顯提高。（3）通過對比機器數(shù)目是1臺、2臺、3臺的情況發(fā)現(xiàn)，隨著機器數(shù)量的增加，改進(jìn)的隨機森林模型運行時間確實逐漸下降，但曲線斜率也逐漸減小，說明機器的數(shù)目越多，算法效率越高，但與此同時設(shè)備間數(shù)據(jù)通信耗時也在增加，這也是曲線斜率逐漸變小的原因。（4）當(dāng)機器數(shù)目是2臺和3臺時，Data2， Data3，Data4樣本數(shù)據(jù)集的算法運行時間相對Data1耗時更少。該現(xiàn)象說明，并行化的隨機森林模型更適用于大規(guī)