基于云平臺(tái)的轉(zhuǎn)錄組數(shù)據(jù)Error correction算法的研究.pdf

1、基因測(cè)序技術(shù)可以幫助了解生物的遺傳信息，從而識(shí)別生物體的致病基因和研究正確有效的治療方法。由于現(xiàn)有技術(shù)的限制，DNA通常被打斷成短片段，再用基因組裝算法將其拼接。然而短片段序列中存在堿基錯(cuò)誤，如何修正是組裝算法的重要研究問(wèn)題。
　　現(xiàn)有的串行Error correction算法基于這樣一種思想:來(lái)自于同一個(gè)基因組位置的reads共享某一段長(zhǎng)度的子片段(K-mer)，通過(guò)估算K-mer，找出最有可能出錯(cuò)的堿基并修改。比如K-mer清

2、單算法，利用K-mer清單圖來(lái)尋找錯(cuò)誤堿基，雖然較為快速，但堿基糾錯(cuò)準(zhǔn)確率不高。而K-mer枚舉比對(duì)算法利用枚舉出的K-mer找到具有相同特征的reads，再由這些reads找到錯(cuò)誤堿基，雖然提高了準(zhǔn)確率，但是計(jì)算復(fù)雜，內(nèi)存消耗過(guò)大。因此兩種算法無(wú)法勝任處理海量短片段序列的任務(wù)。
　　本文提出并行Error correction算法，利用Hadoop的分布式文件系統(tǒng)(HDFS, Hadoop Distributed Filesys

3、tem)、Map/Reduce(Google Map/Reduce的開(kāi)源實(shí)現(xiàn))并行編程模型和新的堿基修改規(guī)則，提高Error correction的速度和準(zhǔn)確率，減少Error correction內(nèi)存的占用。本文主要工作包括:
　　(1)針對(duì)Hadoop的Map/Reduce并行編程模型對(duì)原有算法的操作流程以及整體架構(gòu)進(jìn)行改進(jìn)。設(shè)計(jì)適合用于并行Error correction算法的鏈表，利用該鏈表存儲(chǔ)相關(guān)的K-mer信息和rea

4、ds信息。利用Map/Reduce并行編程模型進(jìn)行數(shù)據(jù)預(yù)處理:轉(zhuǎn)變短片段序列的存儲(chǔ)格式，過(guò)濾短片段序列中無(wú)用的信息，并行枚舉出所有的K-mer，為后續(xù)的reads比對(duì)做準(zhǔn)備。
　　(2)利用Map/Reduce并行編程模型完成K-mer與reads的序列比對(duì)，得到所有包含相同K-mer特征的reads序列，用設(shè)計(jì)好的鏈表分組存儲(chǔ)所有比對(duì)過(guò)后的序列。改進(jìn)堿基修改規(guī)則，設(shè)計(jì)一種較為完善的計(jì)算平均堿基質(zhì)量分?jǐn)?shù)的規(guī)則，將之應(yīng)用到并行算法中