基于hadoop streaming的Last軟件并行化的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)及云計算相關(guān)技術(shù)的迅速發(fā)展，相關(guān)科學領(lǐng)域的數(shù)據(jù)呈現(xiàn)快速增長的趨勢，如何快速準確的分析日益增長的數(shù)據(jù)成為一大難題。當前許多領(lǐng)域的成熟軟件仍然是單機版軟件，這種單機版軟件無法面對其所在領(lǐng)域日益增長的海量數(shù)據(jù)。通過將這種成熟的單機版軟件在云平臺上實現(xiàn)并行化將能夠有效解決這個問題。
　　為實現(xiàn)單機版軟件并行化，往往需要分析單機版軟件的源碼，并轉(zhuǎn)換輸入文件的結(jié)構(gòu)。此過程費時費力，開發(fā)周期較長。本文主要闡述了一種在不修改單機

2、版軟件任何源碼及輸入文件結(jié)構(gòu)的情況下，將單機版軟件快速在Hadoop平臺實現(xiàn)并行化的方案。該方案通過使用Hadoop平臺提供的Hadoop Streaming編程工具，將序列比對軟件Last在Hadoop平臺上實現(xiàn)了并行化，為其它類似問題提供借鑒。
　　本文的主要研究內(nèi)容是:首先對Last軟件并行化過程中涉及的技術(shù)和原理進行研究與分析，重點研究了Last的比對原理、Hadoop分布式平臺和集群文件系統(tǒng)Lustre。其次設(shè)計了基于H

3、DFS的并行化模型，通過修改InputFormat來使其為Last比對軟件提供符合約束的輸入數(shù)據(jù)，并設(shè)計相關(guān)的Mapper腳本來將Last比對軟件進行打包，使其可以透明的運行在Hadoop平臺上。第三，設(shè)計了基于Lustre的并行化模型，通過設(shè)計索引構(gòu)建算法為輸入文件建立索引，使每個子任務(wù)可以通過該索引快速的獲得該任務(wù)所需處理的數(shù)據(jù)分片。并設(shè)計相關(guān)的Mapper腳本和Reducer腳本來將Last比對軟件進行打包，重構(gòu)分區(qū)類Partit