基于Hadoop的氣象信息云存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、氣象信息存儲(chǔ)系統(tǒng)主要用于省市或者全國(guó)的氣象數(shù)據(jù)存儲(chǔ)、顯示、管理和檢索，是氣象預(yù)報(bào)工作的基礎(chǔ)部門，也是氣象部門中使用頻率較高的信息化系統(tǒng)之一。當(dāng)前，隨著各大部門氣象信息的數(shù)據(jù)量和氣象數(shù)據(jù)種類不斷高速地增長(zhǎng)，如何高效可靠地存儲(chǔ)、管理使用豐富的氣象數(shù)據(jù)信息變得十分重要，傳統(tǒng)的氣象數(shù)據(jù)存儲(chǔ)方式采用文件存儲(chǔ)或者分布式關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)，這種存儲(chǔ)方案日益無(wú)法滿足用戶對(duì)精細(xì)化氣象預(yù)報(bào)業(yè)務(wù)的要求。
　　本文設(shè)計(jì)了一種基于Linux OS和HDFS的氣

2、象信息云存儲(chǔ)系統(tǒng)，能夠部署在普通服務(wù)器上，可以很容易擴(kuò)大整個(gè)存儲(chǔ)系統(tǒng)的處理容量，提高了數(shù)據(jù)可靠性的同時(shí)也為氣象部門節(jié)約了成本。氣象信息云存儲(chǔ)系統(tǒng)由分布式文件系統(tǒng)、局域通信網(wǎng)絡(luò)、服務(wù)器集群系統(tǒng)、虛擬化存儲(chǔ)技術(shù)等構(gòu)成，把分布在網(wǎng)絡(luò)上的各種存儲(chǔ)設(shè)備整合成為一個(gè)資源池，作為一個(gè)服務(wù)體系對(duì)外提供統(tǒng)一的訪問(wèn)接口。這樣不僅可以有效整合存儲(chǔ)資源，還可以提高存儲(chǔ)的便捷性和資源共享。用戶上傳的氣象文件都存儲(chǔ)在一個(gè)海量數(shù)據(jù)存儲(chǔ)池里面；當(dāng)用戶查找和下載需要的資

3、源時(shí)，可以自由方便地從存儲(chǔ)池中下載下來(lái)，靈活性很高。用戶層采用擴(kuò)展性好、架構(gòu)清晰的SSH(Spring+Struts2+Hibernate）框架實(shí)現(xiàn)了Web訪問(wèn)界面，用戶和管理員在不需要了解底層存儲(chǔ)細(xì)節(jié)的情況下，也能夠?qū)庀髷?shù)據(jù)進(jìn)行可視化管理、檢索和維護(hù)。
　　本文最終開發(fā)完成的系統(tǒng)優(yōu)點(diǎn)如下：一、能夠存儲(chǔ)海量數(shù)據(jù)。系統(tǒng)中多臺(tái)存儲(chǔ)設(shè)備并發(fā)存取，協(xié)同工作，不僅提高了存儲(chǔ)容量也提高了存儲(chǔ)速度。二、系統(tǒng)可自由擴(kuò)展?？梢詫?duì)訪問(wèn)頻率較高的數(shù)據(jù)

4、實(shí)行多副本策略，在不影響整個(gè)系統(tǒng)運(yùn)營(yíng)的下進(jìn)行動(dòng)態(tài)的容量擴(kuò)展。三、數(shù)據(jù)存儲(chǔ)透明化。后臺(tái)數(shù)據(jù)的存儲(chǔ)空間由Hadoop系統(tǒng)自動(dòng)分配，用戶無(wú)需考慮數(shù)據(jù)的存儲(chǔ)方式和存儲(chǔ)位置。四、系統(tǒng)的可靠性高。Hadoop使用快速恢復(fù)算法、多副本機(jī)制和校驗(yàn)函數(shù)來(lái)保障數(shù)據(jù)的完整性和可靠性，用戶無(wú)需關(guān)心數(shù)據(jù)如何保存，或者采用什么樣的格式保存，數(shù)據(jù)存儲(chǔ)會(huì)否出錯(cuò)。五、費(fèi)用較低。采用開源免費(fèi)的Hadoop框架和普通的X86服務(wù)器，可以為氣象部門大量節(jié)省經(jīng)費(fèi)，緩解各省市經(jīng)費(fèi)