12353.云計(jì)算下基于貝葉斯分類的氣象數(shù)據(jù)挖掘研究

1、（二○二○一四年五月碩士學(xué)位論文碩士學(xué)位論文分類號(hào)分類號(hào):學(xué)校代碼學(xué)校代碼::1012810128UDC:學(xué)號(hào):2004114720041147分類號(hào)分類號(hào):學(xué)校代碼學(xué)校代碼::1012810128UDC:學(xué)號(hào):2011110008020111100080類別：全日制碩士研究生全日制碩士研究生題目：云計(jì)算下基云計(jì)算下基于貝葉斯分類的氣象數(shù)于貝葉斯分類的氣象數(shù)據(jù)挖掘研究據(jù)挖掘研究英文題目：文題目：ResearchofResearchofM

2、eteorologicalDataeteorologicalDataMiningBasedonCloudComputingMiningBasedonCloudComputingandBayesandBayes研究生研究生：張晨陽(yáng)張晨陽(yáng)學(xué)科名稱：學(xué)科名稱：計(jì)算機(jī)應(yīng)用技術(shù)計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：指導(dǎo)教師：劉利民劉利民教授教授馬志強(qiáng)馬志強(qiáng)副教授副教授內(nèi)蒙古工業(yè)大學(xué)碩士學(xué)位論文摘要隨著數(shù)據(jù)庫(kù)技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)的高速發(fā)展，氣象部門在日?？蒲泻凸芾砘?/p>

3、動(dòng)中收集積累了海量的氣象信息資料。利用數(shù)據(jù)挖掘技術(shù)，分析觀測(cè)到的氣象信息資料，發(fā)現(xiàn)潛在其中的特點(diǎn)和規(guī)律，對(duì)于提高氣象數(shù)據(jù)利用率，進(jìn)一步完善氣象預(yù)測(cè)有重要意義。傳統(tǒng)的數(shù)據(jù)存儲(chǔ)與挖掘方法在處理海量氣象數(shù)據(jù)時(shí)，在性能與準(zhǔn)確率方面均無(wú)法獲得令人滿意的效果。云計(jì)算帶來(lái)了更高效的分布式計(jì)算與存儲(chǔ)，它的出現(xiàn)為解決這一問(wèn)題提供了可能。本文在分析了當(dāng)下氣象數(shù)據(jù)存儲(chǔ)與挖掘存在的問(wèn)題，發(fā)掘海量氣象數(shù)據(jù)實(shí)際存儲(chǔ)的需求，給出了云計(jì)算環(huán)境下的海量氣象數(shù)據(jù)存儲(chǔ)與挖掘

4、方案。針對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)存儲(chǔ)海量氣象數(shù)據(jù)能力不足的問(wèn)題，研究與設(shè)計(jì)基于Hadoop分布式文件存儲(chǔ)系統(tǒng)與數(shù)據(jù)倉(cāng)庫(kù)工具Hive的氣象數(shù)據(jù)中心，并通過(guò)實(shí)驗(yàn)驗(yàn)證了本文數(shù)據(jù)中心在處理海量氣象數(shù)據(jù)方面存在明顯的優(yōu)勢(shì)，能夠滿足業(yè)務(wù)部門的查詢統(tǒng)計(jì)需求。在此數(shù)據(jù)中心的基礎(chǔ)上，本文給出了Hadoop平臺(tái)下基于貝葉斯分類的海量氣象數(shù)據(jù)挖掘方案。整個(gè)挖掘過(guò)程主要分為數(shù)據(jù)離散化、數(shù)據(jù)約減、數(shù)據(jù)分類三個(gè)步驟，論文在分析了MapReduce計(jì)算模型與粗糙集、貝葉斯分類的

5、基礎(chǔ)上，結(jié)合氣象數(shù)據(jù)特點(diǎn)，給出了基于MapReduce的計(jì)算等價(jià)類的數(shù)據(jù)約簡(jiǎn)算法與樸素貝葉斯分類算法，最后利用氣象日值數(shù)據(jù)以降雨量為決策屬性進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)從分類準(zhǔn)確率與算法加速比兩個(gè)方面對(duì)分類器的精度與效率進(jìn)行了測(cè)試，通過(guò)實(shí)驗(yàn)可以證明本文的分布式海量氣象數(shù)據(jù)挖掘方案在分類精度與效率方面較傳統(tǒng)樸素貝葉斯分類均有一定提高。本課題所研究的基于Hadoop平臺(tái)的海量氣象數(shù)據(jù)存儲(chǔ)與挖掘方案，在一定程度上解決了傳統(tǒng)的數(shù)據(jù)存儲(chǔ)與挖掘方法在處理海量氣