分布式計算引擎的集群管理及負載均衡策略研究.pdf

1、當今，隨著信息化步伐的加速，網(wǎng)絡數(shù)據(jù)量爆發(fā)式增長，如何高效處理海量數(shù)據(jù)業(yè)務成為一個研究熱點。分布式計算的思想以及相關研究成果給出了一個比較明確的研究方向。
　　本文通過對分布式計算技術的分析研究，結(jié)合當前一些分布式計算相關產(chǎn)品的設計思想和實際項目需求，為電信領域的海量數(shù)據(jù)處理設計出一套全新的解決方案，實現(xiàn)了一個分布式計算引擎DVCP(Distributed Virtual Computing Platform)，即分布式虛擬化計算

2、平臺。利用分布式計算技術將復雜的數(shù)據(jù)業(yè)務進行分割、分散到多臺服務器中，在較低廉的系統(tǒng)資源部署情況下完成大量數(shù)據(jù)業(yè)務的處理。
　　論文的主要研究工作包括以下幾點：
　　1、DVCP系統(tǒng)設計，利用分布式計算思想，將復雜的任務分割成多個較為簡單且清晰的步驟，由各服務器分別完成。實現(xiàn)系統(tǒng)的基本數(shù)據(jù)業(yè)務功能，包括原始數(shù)據(jù)采集、數(shù)據(jù)匯總、數(shù)據(jù)查詢、數(shù)據(jù)備份。同時，對系統(tǒng)任務控制調(diào)度中心服務器Master的模塊設計進行了詳細分析。

3、　　2、為實現(xiàn)系統(tǒng)高可靠性和可擴展性，設計并實現(xiàn)了一整套系統(tǒng)集群管理技術，包括集群節(jié)點狀態(tài)的統(tǒng)一管理、各節(jié)點的故障恢復以及雙機熱備。為實現(xiàn)系統(tǒng)各功能，還專門設計了一套高效、可靠的網(wǎng)絡通信機制。
　　3、實現(xiàn)了DVCP系統(tǒng)所特有的負載均衡機制。各計算節(jié)點主動申請任務并實現(xiàn)自身的負載均衡，中心控制節(jié)點Master只負責負載數(shù)據(jù)收發(fā)與計算，不做負載均衡決策。不但很好地實現(xiàn)了項目對負載均衡的需求，而且降低了系統(tǒng)實現(xiàn)復雜度以及Master的