基于Hadoop平臺的高可用性云存儲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、黑龍江省人力資源和社會保障廳從事社會保障和保險已經(jīng)多年，依托工業(yè)和黑龍江省經(jīng)濟的發(fā)展，在信息化領(lǐng)域的建設(shè)上取得了很大的成就?，F(xiàn)在黑龍江省人力資源和社會保障廳的社會保險業(yè)務(wù)的涵蓋范圍已經(jīng)由原來的傳統(tǒng)“五險”擴大到包含征地失地農(nóng)民養(yǎng)老、農(nóng)村養(yǎng)老、城鎮(zhèn)居民養(yǎng)老和醫(yī)療、個體參保及老年居民補貼的全社會保險，服務(wù)對象則由原來的僅有地市級城市的企事業(yè)單位職工擴大到縣鄉(xiāng)級別的城鄉(xiāng)居民；因此，現(xiàn)實對黑龍江省人力資源和社會保障廳的行政能力要求也在提高。信息

2、化系統(tǒng)依靠設(shè)備更強大的性能提升工作人員的工作效率，隨著信息化的不斷深入，社會保險數(shù)據(jù)的積累總量也在迅速的增長。社會保險的數(shù)據(jù)是黑龍江省人力資源和社會保障廳的最重要的數(shù)據(jù)之一，它的安全直接關(guān)系著人民的基本利益，社會的安定和諧以及社會保險業(yè)務(wù)的開展。因此，為了保證數(shù)據(jù)的安全，對于社保數(shù)據(jù)建立可靠的數(shù)據(jù)保護方案已經(jīng)迫在眉睫。
　　本文通過對系統(tǒng)需求的全面分析和對技術(shù)實現(xiàn)可能性的評估，決定采用C/S體系進行系統(tǒng)的開發(fā)。系統(tǒng)使用的是java

3、語言，采用Hadoop架構(gòu)和swt編寫其外殼，特別地，針對社保驗證和管理系統(tǒng)的需要，引入了SQL解析器，既可以控制用戶的使用，還可以簡化進一步的開發(fā)成本。整體系統(tǒng)的開發(fā)是在Ubuntu Linux環(huán)境下使用Eclipse進行開發(fā)，本地服務(wù)器采取Jetty，數(shù)據(jù)庫由本身實現(xiàn)。
　　本文的研究內(nèi)容主要包括三個子系統(tǒng)：集群存儲系統(tǒng)、管理員管理系統(tǒng)、用戶服務(wù)系統(tǒng)。集群存儲系統(tǒng)分為Namenode和Datanode兩個模塊,并且在此之上實現(xiàn)

4、了高可用性的配置，對于主節(jié)點Namenode增加了一個備份節(jié)點即從Namenode,以增加容錯功能。當發(fā)生單點故障時，采用Paxos算法，進行從主節(jié)點Namenoded到Datanode的切換。這樣系統(tǒng)的容災(zāi)配置可以提供高可用性的數(shù)據(jù)存儲并且有防范單點故障的功能；管理員管理系統(tǒng)可以運行在管理員的個人電腦上從而可以讓管理員登錄集群，配置、監(jiān)控并管理集群的狀態(tài)，對集群的數(shù)據(jù)進行讀寫或備份還原，對集群的節(jié)點進行調(diào)配，并且管理社保用戶的狀態(tài)。用