多任務數據處理引擎資源共享與錯誤隔離機制研究.pdf

1、MapReduce是一個流行的計算框架，被商業(yè)界和學術界廣泛地應用于大數據處理和分析，而Hadoop是一個主流的MapReduce的開源實現，隨著Hadoop的大規(guī)模的應用，其可靠性和可用性成為人們關注的焦點。Hadoop采用了Master/Slaves結構，因此不可避免的存在單點問題，Colt系統(tǒng)正是通過對當前單點問題的解決方案和已有的對Hadoop的單點問題的研究進行分析，并提出的對于Hadoop的單點問題的一個新的解決方案，是一個

2、優(yōu)化后的Hadoop系統(tǒng)。
　　Colt系統(tǒng)針對Hadoop中MapReduce的單點問題，借鑒分布式協(xié)調服務Zookeeper的思想，在系統(tǒng)中采用Zookeeper作為信息管理系統(tǒng)，使其作為系統(tǒng)運行的一部分，以達到主從節(jié)點錯誤隔離的目的。在當前的解決方案中，將Hadoop的Master/Slaves模型變?yōu)镸aster-Zookeeper-Slaves的二級網絡結構模型，把主從節(jié)點隔離，主從節(jié)點不再直接進行信息交互，而是通過與Z

3、ookeeper進行交互。在這種狀況下，即使主節(jié)點失效，從節(jié)點也能繼續(xù)與Zookeeper進行交互，并繼續(xù)正常運行，從而到達錯誤隔離的目的。同時通過狀態(tài)管理模型，將Master變?yōu)闊o狀態(tài)節(jié)點，可以快速從失敗中恢復，因主節(jié)點失效而失敗的作業(yè)也能快速恢復到之前的作業(yè)狀態(tài)繼續(xù)運行，達到了正在運行任務級別的恢復粒度，為了保證系統(tǒng)性能與原系統(tǒng)相比誤差在5％以內，系統(tǒng)針對當前架構進行了優(yōu)化，將心跳處理方式變?yōu)椴l(fā)處理方式，以提高處理速度。