BC-BSP系統(tǒng)中容錯(cuò)與動態(tài)負(fù)載均衡機(jī)制研究與實(shí)現(xiàn).pdf

1、圖是計(jì)算機(jī)科學(xué)中最常用的一類抽象數(shù)據(jù)結(jié)構(gòu)，特別適合表達(dá)現(xiàn)實(shí)世界中各種復(fù)雜的關(guān)系。在圖數(shù)據(jù)挖掘領(lǐng)域中，有很多算法需要多次迭代才能得到最終結(jié)果。針對這一需求，基于BSP模型的大規(guī)模圖處理系統(tǒng)應(yīng)運(yùn)而生。現(xiàn)有的基于BSP模型的大數(shù)據(jù)處理平臺中，Pregel、Giraph和Hama等系統(tǒng)雖然都能很好地處理大規(guī)模圖數(shù)據(jù)，然而各平臺在集群環(huán)境下都可能由于不穩(wěn)定因素導(dǎo)致系統(tǒng)出現(xiàn)故障，而且它們的容錯(cuò)機(jī)制也不盡相同，很難得出高效統(tǒng)一的方案。另外，這些系統(tǒng)由

2、于采用Master/Slave架構(gòu)，將不可避免地會出現(xiàn)Master單點(diǎn)故障，而這些系統(tǒng)很少能夠提出有效的解決方案。而且，這些系統(tǒng)還可能出現(xiàn)由于計(jì)算節(jié)點(diǎn)硬件問題或節(jié)點(diǎn)負(fù)載不均衡而導(dǎo)致的作業(yè)的“水桶效應(yīng)”問題。因此，全面并規(guī)范實(shí)現(xiàn)基于BSP模型的大規(guī)模圖處理系統(tǒng)的容錯(cuò)機(jī)制以及有效實(shí)現(xiàn)動態(tài)負(fù)載均衡機(jī)制是課題研究的重點(diǎn)和難點(diǎn)問題。
　　針對上述問題，本文設(shè)計(jì)并實(shí)現(xiàn)了基于BC-BSP系統(tǒng)的容錯(cuò)和動態(tài)負(fù)載均衡機(jī)制。本文的主要貢獻(xiàn)如下:第一，對

3、于BC-BSP系統(tǒng)的容錯(cuò)機(jī)制，本文提出了異常處理模型。該異常處理模型對系統(tǒng)可能出現(xiàn)的異常制定了完善的偵測方案，同時(shí)，通過對異常進(jìn)行規(guī)范編碼可以結(jié)合相應(yīng)的異常處理機(jī)制有效地處理系統(tǒng)中的各種異常;第二，本文還為BSPController節(jié)點(diǎn)提供了HA機(jī)制以解決BSPController節(jié)點(diǎn)單點(diǎn)故障的問題。本文實(shí)現(xiàn)的BSPController HA機(jī)制通過采用熱備的方案實(shí)現(xiàn)，并將BSPController備份信息存儲在HDFS上以便保持主備節(jié)

4、點(diǎn)的信息同步。通過Zookeeper服務(wù)，BSPController HA機(jī)制有效地實(shí)現(xiàn)了BSPController節(jié)點(diǎn)故障偵測和主備節(jié)點(diǎn)自動切換;第三，本文設(shè)計(jì)并實(shí)現(xiàn)了動態(tài)負(fù)載均衡機(jī)制。通過收集任務(wù)的相關(guān)決策信息并按照本文設(shè)計(jì)的選擇方案可以正確選擇短板任務(wù)，然后根據(jù)相應(yīng)的遷移策略實(shí)現(xiàn)短板任務(wù)遷移。通過該機(jī)制可以有效實(shí)現(xiàn)短板任務(wù)遷移并改變節(jié)點(diǎn)負(fù)載，從而提高作業(yè)的運(yùn)行效率。
　　經(jīng)過實(shí)際部署和測試，基于BC-BSP系統(tǒng)的容錯(cuò)機(jī)制和動