組學大數(shù)據(jù)的檢索系統(tǒng)設(shè)計與實現(xiàn).pdf

1、由于大規(guī)模的基因組研究和高通量數(shù)據(jù)產(chǎn)生工具的不斷發(fā)展，生物數(shù)據(jù)面臨著井噴式的增長，傳統(tǒng)的數(shù)據(jù)存儲管理方式已經(jīng)慢慢不能滿足需求，在這個背景下，大數(shù)據(jù)技術(shù)如 Hadoop計劃，提供了分布式并行的數(shù)據(jù)處理和PB級的數(shù)據(jù)集分析，可以實現(xiàn)大規(guī)模數(shù)據(jù)的分布式存儲。本文探討的問題就是如何在Hadoop下實現(xiàn)對組學大數(shù)據(jù)的存儲及索引檢索。
　　本文在Hadoop下實現(xiàn)了一套廣泛適用于各類數(shù)據(jù)庫的索引檢索機制。針對Hadoop下 HDFS文件系統(tǒng)不

2、適用于隨機讀寫的情況，本文使用了支持快速讀寫的HBase作為數(shù)據(jù)存儲結(jié)構(gòu)。由于HBase本身在索引上有自己的局限性，本文引入了基于Lucene的分布式全文索引搜索框架Solr。結(jié)合HBase固有的主節(jié)點-從節(jié)點復制機制，在數(shù)據(jù)更新到HBase的同時，本系統(tǒng)首先通過虛擬節(jié)點的創(chuàng)建實現(xiàn)對更新數(shù)據(jù)的訂閱，之后應用自定義的消息機制將更新數(shù)據(jù)異步提交給系統(tǒng)創(chuàng)建的Indexer，Indexer通過用戶自定義的索引策略生成可導入到Solr中的數(shù)據(jù)，最

3、后由Solr完成了對數(shù)據(jù)的全文索引工作，并保存索引在HDFS內(nèi)。檢索數(shù)據(jù)時，數(shù)據(jù)請求被分發(fā)到集群內(nèi)的各個節(jié)點上，在每臺機器上進行查詢工作。同時用戶可以提交自己的序列數(shù)據(jù)和元數(shù)據(jù)到數(shù)據(jù)庫內(nèi)，后臺會自動進行數(shù)據(jù)的格式轉(zhuǎn)換導入工作并完成實時的索引工作。
　　本系統(tǒng)使用數(shù)據(jù)對象是NCBI SRA數(shù)據(jù)庫的元數(shù)據(jù)和序列數(shù)據(jù)部分。通過對系統(tǒng)的性能測試可看到，系統(tǒng)實現(xiàn)了對數(shù)據(jù)的快速準確查詢，查詢速度是傳統(tǒng)HBase查詢速度的數(shù)百倍，具有明顯的優(yōu)勢