基于MongoDB的光纖傳感海量監(jiān)測數(shù)據(jù)存儲(chǔ)方法研究.pdf

1、隨著現(xiàn)代工業(yè)技術(shù)的快速發(fā)展，重大機(jī)械裝備運(yùn)行狀態(tài)的安全監(jiān)測愈加必要，也成為業(yè)界研究熱點(diǎn)。光纖光柵傳感器以其體積小、重量輕、柔韌性好、耐高溫腐蝕、強(qiáng)抗電磁干擾能力等優(yōu)點(diǎn)，取代傳統(tǒng)電測傳感器，廣泛應(yīng)用于重大機(jī)械裝備狀態(tài)的智能感知與監(jiān)測中。如何為這些海量光纖傳感監(jiān)測數(shù)據(jù)建立高并發(fā)性、高擴(kuò)展性和高可用性的高效存儲(chǔ)系統(tǒng)，為實(shí)時(shí)監(jiān)測、信息分析和故障分析系統(tǒng)提供穩(wěn)定可靠的數(shù)據(jù)支持，也成為目前人們關(guān)注的關(guān)鍵問題。
　　本文針對基于光纖傳感技術(shù)的重

2、大機(jī)械裝備運(yùn)行狀態(tài)在線監(jiān)測系統(tǒng)的存儲(chǔ)需求，結(jié)合配置管理信息與傳感監(jiān)測數(shù)據(jù)的不同特點(diǎn)，采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫實(shí)現(xiàn)數(shù)據(jù)的分離存儲(chǔ)，并設(shè)計(jì)實(shí)現(xiàn)了多級緩沖機(jī)制以滿足數(shù)據(jù)存儲(chǔ)的高效、實(shí)時(shí)、精準(zhǔn)性，較好的緩解了內(nèi)存與磁盤I/O的響應(yīng)延遲。本文主要研究工作如下:
　?。?）針對重大機(jī)械裝備運(yùn)行狀態(tài)在線監(jiān)測系統(tǒng)不同功能模塊的應(yīng)用需求，結(jié)合各類數(shù)據(jù)特點(diǎn)，將存儲(chǔ)分為多級緩存、傳統(tǒng)關(guān)系數(shù)據(jù)庫系統(tǒng)和NoSQL分布式數(shù)據(jù)庫系統(tǒng)三個(gè)部分。采用

3、多級緩存隊(duì)列實(shí)現(xiàn)及時(shí)、精準(zhǔn)、高效的實(shí)時(shí)數(shù)據(jù)分析與顯示；采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫作為系統(tǒng)數(shù)據(jù)庫，實(shí)現(xiàn)具有高一致性，高結(jié)構(gòu)化特點(diǎn)的配置管理信息的存儲(chǔ)；采用MongoDB作為綜合狀態(tài)數(shù)據(jù)庫，實(shí)現(xiàn)海量、非結(jié)構(gòu)化的光纖傳感監(jiān)測數(shù)據(jù)的存儲(chǔ)，為機(jī)械裝備后期生命周期管理打下良好的數(shù)據(jù)基礎(chǔ)。
　　（2）光纖傳感監(jiān)測數(shù)據(jù)的海量、大規(guī)模、高并發(fā)特點(diǎn)勢必對存儲(chǔ)系統(tǒng)的高效、高并發(fā)、高響應(yīng)性能提出較高需求。為協(xié)調(diào)高響應(yīng)需求下高速數(shù)據(jù)接收和低速磁盤I/O延時(shí)造成的

4、不一致性，本文設(shè)計(jì)并實(shí)現(xiàn)了一種高效數(shù)據(jù)接收和多級緩存模型，該模型采用基于UDP通信協(xié)議的多線程接收、Socket緩沖區(qū)調(diào)整機(jī)制來實(shí)現(xiàn)數(shù)據(jù)接收和解析的異步處理；采用基于表置換機(jī)制的多線程技術(shù)以及ADO.NET的批處理技術(shù)，實(shí)現(xiàn)對數(shù)據(jù)庫讀寫的實(shí)時(shí)性和準(zhǔn)確性；采用基于生產(chǎn)者-消費(fèi)者算法建立二級數(shù)據(jù)緩存，實(shí)現(xiàn)臨界區(qū)并發(fā)讀寫互斥。
　?。?）針對光纖傳感監(jiān)測數(shù)據(jù)海量、小文件、松散結(jié)構(gòu)的特點(diǎn)，本文從研究對比傳統(tǒng)關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫的

5、存儲(chǔ)機(jī)制和系統(tǒng)性能著手，進(jìn)行了全面詳盡的可行性分析，從而選擇MongoDB作為最優(yōu)存儲(chǔ)方案，設(shè)計(jì)并實(shí)現(xiàn)了基于MongoDB的光纖光柵海量傳感監(jiān)測數(shù)據(jù)的存儲(chǔ)模型。同時(shí)，根據(jù)傳感監(jiān)測數(shù)據(jù)的海量、只讀的實(shí)際應(yīng)用需求，在MongoDB自動(dòng)分片技術(shù)的基礎(chǔ)上，運(yùn)用基于數(shù)據(jù)操作頻率的均衡算法對 MongoDB高擴(kuò)展性集群進(jìn)行改進(jìn)，采用WebService通用服務(wù)標(biāo)準(zhǔn)，實(shí)現(xiàn)了基于MongoDB的平臺(tái)獨(dú)立、多用戶差異化、高可擴(kuò)展性的海量數(shù)據(jù)存儲(chǔ)接口。