12353.云計算下基于貝葉斯分類的氣象數(shù)據(jù)挖掘研究

1、（二○二○一四年五月碩士學(xué)位論文碩士學(xué)位論文分類號分類號:學(xué)校代碼學(xué)校代碼::1012810128UDC:學(xué)號:2004114720041147分類號分類號:學(xué)校代碼學(xué)校代碼::1012810128UDC:學(xué)號:2011110008020111100080類別：全日制碩士研究生全日制碩士研究生題目：云計算下基云計算下基于貝葉斯分類的氣象數(shù)于貝葉斯分類的氣象數(shù)據(jù)挖掘研究據(jù)挖掘研究英文題目：文題目：ResearchofResearchofM

2、eteorologicalDataeteorologicalDataMiningBasedonCloudComputingMiningBasedonCloudComputingandBayesandBayes研究生研究生：張晨陽張晨陽學(xué)科名稱：學(xué)科名稱：計算機(jī)應(yīng)用技術(shù)計算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：指導(dǎo)教師：劉利民劉利民教授教授馬志強(qiáng)馬志強(qiáng)副教授副教授內(nèi)蒙古工業(yè)大學(xué)碩士學(xué)位論文摘要隨著數(shù)據(jù)庫技術(shù)和計算機(jī)網(wǎng)絡(luò)的高速發(fā)展，氣象部門在日常科研和管理活

3、動中收集積累了海量的氣象信息資料。利用數(shù)據(jù)挖掘技術(shù)，分析觀測到的氣象信息資料，發(fā)現(xiàn)潛在其中的特點和規(guī)律，對于提高氣象數(shù)據(jù)利用率，進(jìn)一步完善氣象預(yù)測有重要意義。傳統(tǒng)的數(shù)據(jù)存儲與挖掘方法在處理海量氣象數(shù)據(jù)時，在性能與準(zhǔn)確率方面均無法獲得令人滿意的效果。云計算帶來了更高效的分布式計算與存儲，它的出現(xiàn)為解決這一問題提供了可能。本文在分析了當(dāng)下氣象數(shù)據(jù)存儲與挖掘存在的問題，發(fā)掘海量氣象數(shù)據(jù)實際存儲的需求，給出了云計算環(huán)境下的海量氣象數(shù)據(jù)存儲與挖掘

4、方案。針對傳統(tǒng)數(shù)據(jù)庫存儲海量氣象數(shù)據(jù)能力不足的問題，研究與設(shè)計基于Hadoop分布式文件存儲系統(tǒng)與數(shù)據(jù)倉庫工具Hive的氣象數(shù)據(jù)中心，并通過實驗驗證了本文數(shù)據(jù)中心在處理海量氣象數(shù)據(jù)方面存在明顯的優(yōu)勢，能夠滿足業(yè)務(wù)部門的查詢統(tǒng)計需求。在此數(shù)據(jù)中心的基礎(chǔ)上，本文給出了Hadoop平臺下基于貝葉斯分類的海量氣象數(shù)據(jù)挖掘方案。整個挖掘過程主要分為數(shù)據(jù)離散化、數(shù)據(jù)約減、數(shù)據(jù)分類三個步驟，論文在分析了MapReduce計算模型與粗糙集、貝葉斯分類的

5、基礎(chǔ)上，結(jié)合氣象數(shù)據(jù)特點，給出了基于MapReduce的計算等價類的數(shù)據(jù)約簡算法與樸素貝葉斯分類算法，最后利用氣象日值數(shù)據(jù)以降雨量為決策屬性進(jìn)行了實驗，實驗從分類準(zhǔn)確率與算法加速比兩個方面對分類器的精度與效率進(jìn)行了測試，通過實驗可以證明本文的分布式海量氣象數(shù)據(jù)挖掘方案在分類精度與效率方面較傳統(tǒng)樸素貝葉斯分類均有一定提高。本課題所研究的基于Hadoop平臺的海量氣象數(shù)據(jù)存儲與挖掘方案，在一定程度上解決了傳統(tǒng)的數(shù)據(jù)存儲與挖掘方法在處理海量氣