基于海洋平臺(tái)監(jiān)測(cè)的流數(shù)據(jù)管理研究.pdf

1、海洋平臺(tái)在遠(yuǎn)離陸地、惡劣環(huán)境、極端天氣、網(wǎng)絡(luò)條件差等諸多苛刻的不利條件下實(shí)施監(jiān)測(cè)，監(jiān)測(cè)生成的流數(shù)據(jù)來(lái)源各異、數(shù)量巨大、快速實(shí)時(shí)、結(jié)構(gòu)多樣、瞬時(shí)變化，管理技術(shù)要求越來(lái)越高，許多傳統(tǒng)管理方法和模式不能滿足需求，如何科學(xué)有效地管理海洋平臺(tái)監(jiān)測(cè)流數(shù)據(jù)研究成果和實(shí)踐經(jīng)驗(yàn)相對(duì)較少，也正是當(dāng)前亟待解決的問(wèn)題。
　　本文總結(jié)了海洋平臺(tái)監(jiān)測(cè)流數(shù)據(jù)的特點(diǎn)和相關(guān)特性的變化，國(guó)內(nèi)外流數(shù)據(jù)遠(yuǎn)程傳輸、規(guī)范化處理、分布式存儲(chǔ)和管理系統(tǒng)的研究現(xiàn)狀以及存在的主要問(wèn)

2、題，提出了基于反饋機(jī)制和MD5碼檢測(cè)的流數(shù)據(jù)遠(yuǎn)程傳輸技術(shù)，通過(guò)發(fā)送端傳輸?shù)臄?shù)據(jù)文件的MD5碼和接收端生成的MD5碼一致性檢驗(yàn)，保證了流數(shù)據(jù)傳輸?shù)耐暾院鸵恢滦?建立了一個(gè)包含所有可能情況的數(shù)據(jù)規(guī)范處理方式的監(jiān)測(cè)流數(shù)據(jù)修復(fù)函數(shù)庫(kù)和數(shù)據(jù)格式信息表，實(shí)現(xiàn)了對(duì)監(jiān)測(cè)流數(shù)據(jù)錯(cuò)誤、丟失、無(wú)序、噪聲等問(wèn)題的處理和對(duì)格式、范圍、標(biāo)準(zhǔn)不一致統(tǒng)一規(guī)范;基于Hadoop搭建了監(jiān)測(cè)流數(shù)據(jù)分布式存儲(chǔ)平臺(tái)，為高效查詢分析數(shù)據(jù)提供服務(wù)。
　　針對(duì)現(xiàn)實(shí)應(yīng)用的實(shí)際需