基于Hadoop的決策樹算法改進及林業(yè)數據分類預測研究.pdf

1、互聯網的快速發(fā)展，使數據規(guī)模呈指數級增長，海量的數據中蘊含著非常多的信息，需要我們挖掘與分析其中價值，在使用傳統駐留內存的數據挖掘算法處理海量數據時受到了單機性能問題的限制，而Hadoop的海量數據存儲系統和并行化編程框架技術為處理海量數據的需求提供了一種有效的解決方案。
　　我國的森林資源較為豐富，在多年的監(jiān)測和整理后，森林資源的基礎數據資料已經初具規(guī)模，其具有高維、噪聲、量大等特點，而傳統的林業(yè)數據分析手段在處理上也越來越乏力

2、，已經無法滿足林業(yè)的需求，急需引入一種科學的、高效的技術手段。
　　基于以上，本文提出一種基于Hadoop平臺的不確定概率C4.5(ImpreciseProbability C4.5，IP-C4.5)算法，可以對數據集的不可靠性帶來的誤差進行優(yōu)化，并具有處理海量數據的能力。同時將改進的IP-C4.5算法引入林業(yè)應用，對森林成熟度、森林覆蓋類型進行分類預測，從而對今后林業(yè)數據的分析開辟了一種新的模式。
　　本文的具體研究內容如

3、下:
　　(1)選擇了在實際應用中使用較多的C4.5決策樹算法進行研究和改進，利用開源軟件Weka提供的J48代碼進行研究學習;改進的C4.5算法在選取分裂屬性時，用基于不確定概率的信息增益率代替原有的信息增益率，這樣會更加適合處理嘈雜的數據集。
　　(2)研究了云計算技術，重點學習研究了Hadoop平臺的文件系統HDFS以及并行編程框架MapReduce，結合傳統決策樹算法的算法模型，在計算屬性選擇度量時將數據集進行縱向劃

4、分，以一種基于文件分裂的方式對改進的算法進行并行化設計。在保證沒有犧牲掉分類準確率為代價的前提下，使并行化的算法在處理海量數據時具有高效性及可擴展性。
　　(3)林業(yè)數據具有高維性、噪音多、海量等特點，而改進的C4.5算法正適合處理嘈雜的數據，基于Hadoop平臺的并行化程序又適合處理海量數據，所以，最后將設計好的程序應用于處理林業(yè)數據。實驗從封閉和開放兩個方面對一組林分小班數據集進行森林成熟度的預測，之后對來自UCI國際機器學習