鉆井數(shù)據(jù)分布式存儲系統(tǒng)設(shè)計.pdf

1、現(xiàn)代鉆井需要將各個不同工藝技術(shù)類型的鉆井數(shù)據(jù)進行采集,包括比如鉆前數(shù)據(jù)、鉆進數(shù)據(jù)、固井數(shù)據(jù)、管具數(shù)據(jù)、HSE數(shù)據(jù)、專家知識數(shù)據(jù)以及勘探開發(fā)等關(guān)聯(lián)業(yè)務(wù)數(shù)據(jù)等等,既有結(jié)構(gòu)數(shù)據(jù),又有圖片、影音、word等復(fù)雜的文件數(shù)據(jù);通過建立起的一個大型智能平臺,利用上述數(shù)據(jù)為下一步工作包括臨井的開發(fā)、工藝技術(shù)配套等提供技術(shù)支撐。通過對國內(nèi)外較優(yōu)秀的分布式存儲系統(tǒng)進行學習和總結(jié),結(jié)合勝利油田現(xiàn)代鉆井系統(tǒng)基礎(chǔ)數(shù)據(jù)平臺項目,論文設(shè)計并實現(xiàn)了鉆井數(shù)據(jù)分布式存儲系

2、統(tǒng)。
　　 本文首先從用戶需求、外部接口及系統(tǒng)性能和可靠性三個方面對系統(tǒng)需求進行了分析,在此基礎(chǔ)上提出了系統(tǒng)的總體架構(gòu)。系統(tǒng)主要由主服務(wù)器(Master Server)、文件塊存儲服務(wù)器(Chunk Server)及客戶端(Client)三部分組成。Master Server:主要負責對元數(shù)據(jù)進行管理,包括名字空間,文件到文件塊的映射,文件塊到Chunk Server的映射;Chunk Server負責管理文件塊的操作,根據(jù)Ma

3、ster Server的指令對文件塊進行新建、刪除和復(fù)制等操作;Client為應(yīng)用端提供文件操作接口,包括文件的創(chuàng)建、追加、讀取及刪除操作。隨后介紹了分布式存儲系統(tǒng)涉及到的關(guān)鍵技術(shù)一主要包括實現(xiàn)方案、緩存設(shè)計及負載均衡算法設(shè)計三個方面。根據(jù)實際應(yīng)用的需要,本系統(tǒng)采用共享文件系統(tǒng)的實現(xiàn)方案,在客戶端主存對數(shù)據(jù)進行緩存以及通過write-through算法保證緩存的一致性。文章通過基于可配置權(quán)值的動態(tài)自適應(yīng)請求調(diào)度算法實現(xiàn)對客戶端請求和文件

4、塊分配負載均衡以及基于最小發(fā)送請求數(shù)算法實現(xiàn)文件塊的Rebalance。最后對負載均衡算法進了測試分析。接著詳細介紹了數(shù)據(jù)交互的總體架構(gòu)和具體流程,主要包括文件的創(chuàng)建、追加、讀取及刪除操作。為了保證數(shù)據(jù)的可用性和一致性,本文提出了文件塊拷貝、數(shù)據(jù)校驗以及垃圾回收等機制。最后給出了系統(tǒng)原型實現(xiàn)類圖并對整體性能進行了測試。在系統(tǒng)實現(xiàn)部分,介紹了基于IO流的基本數(shù)據(jù)類型的設(shè)計實現(xiàn)以及Master Server、Chunk Server、Cli