基于MapReduce解析二進制文件的設計與實現(xiàn).pdf

1、隨著航天航空領域的快速發(fā)展,傳統(tǒng)的數(shù)據(jù)存儲與分析方法已經(jīng)不能滿足于目前的龐大數(shù)據(jù)量,而云計算技術的出現(xiàn)和發(fā)展,很好的解決了這一問題。本文主要研究使用云計算技術中的并行計算框架MapReduce來解決航天航空領域中的大容量二進制總線數(shù)據(jù)文件的解析問題,MapReduce框架實現(xiàn)了將用戶程序自動分布到一個由多臺普通計算機組成的集群中來并發(fā)執(zhí)行的功能。
　　本文通過對航天航空領域中的試驗數(shù)據(jù)格式進行分析,提出了適合于該領域二進制總線數(shù)據(jù)

2、文件的解析方法。針對航天航空領域中總線類型多及總線消息格式不一致的問題,本文采用了顯式動態(tài)加載的方式來分別解析不同類型的二進制總線數(shù)據(jù),并設計了統(tǒng)一的解析接口。同時,本文實現(xiàn)了將具體的解析算法應用于MapReduce并行計算框架中以提高解析性能,并設計了在Map階段生成的中間值中加入當前數(shù)據(jù)分片的起始位置,在Reduce階段按照起始位置從小到大的順序輸出解析結果,從而保證了寫入的解析結果順序與原始二進制文件中的消息順序一致。