基于云計算及關(guān)聯(lián)規(guī)則挖掘技術(shù)的氣象數(shù)據(jù)挖掘研究.pdf

1、（類別:全日制碩士研究生全日制碩士研究生題目：目：基于云計算及關(guān)聯(lián)規(guī)則挖掘技術(shù)基于云計算及關(guān)聯(lián)規(guī)則挖掘技術(shù)的氣象數(shù)據(jù)挖掘研究的氣象數(shù)據(jù)挖掘研究英文題目：英文題目：TheResearchofMeteologicalDataMiningBasedonCloudComputingAssociationRuleMiningTechnology研究研究生：生：馬晶晶馬晶晶學(xué)科名稱：學(xué)科名稱：計算機應(yīng)用技術(shù)計算機應(yīng)用技術(shù)指導(dǎo)教師：指導(dǎo)教師：劉利民劉

2、利民教授馬志強馬志強副教授副教授二○一二○一三年五月碩士學(xué)位論文碩士學(xué)位論文分類號分類號:學(xué)校代碼學(xué)校代碼::1012810128UDC:學(xué)號:2010112020101120內(nèi)蒙古工業(yè)大學(xué)碩士學(xué)位論文摘要隨著互聯(lián)網(wǎng)及信息技術(shù)的快速發(fā)展，現(xiàn)代社會所面臨的問題已由如何獲得信息轉(zhuǎn)變?yōu)榱巳绾卧谘该驮鲩L的海量數(shù)據(jù)中找到有價值的信息。氣象資料類型復(fù)雜，數(shù)據(jù)量龐大，其中蘊藏著大量的氣象規(guī)律。關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘在尋找氣象規(guī)律中顯示出了強大的生命力，它能

3、夠找出數(shù)據(jù)之間的潛在聯(lián)系及規(guī)律，通過這些規(guī)律可以有效地進行氣象預(yù)測，對災(zāi)害性氣候及時采取防范措施。但是氣象數(shù)據(jù)的數(shù)據(jù)量十分龐大，傳統(tǒng)的關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘算法已經(jīng)很難滿足需求，解決關(guān)聯(lián)規(guī)則算法在效率、適應(yīng)性和可用性等方面的瓶頸問題變得日益重要。資源的動態(tài)分配、按需服務(wù)，以低成本處理海量信息，這是云計算的設(shè)計理念。通過云計算技術(shù)，可以在短時間內(nèi)實現(xiàn)處理數(shù)以千萬計甚至億計的信息，具有和“超級計算機”同樣強大的超級計算能力和存儲能力。因為云計算這

4、種強大的數(shù)據(jù)存儲及處理能力，所以將數(shù)據(jù)挖掘算法移植到云計算平臺上，會明顯的提高計算效率。本文針對傳統(tǒng)關(guān)聯(lián)規(guī)則算法FPTree算法存在的一些局限性和Hadoop開源平臺在大數(shù)據(jù)集處理中表現(xiàn)出的優(yōu)勢，設(shè)計了基于MapReduce的FPTree算法。算法被分為兩部分進行MapReduce化操作，最后將結(jié)果進行合并，產(chǎn)生最后的頻繁模式。為評估算法性能，設(shè)計了系列實驗。通過改變數(shù)據(jù)集大小、支持度及Map任務(wù)數(shù)從多角度測試算法性能并針對真實氣象數(shù)據(jù)