海量頻譜監(jiān)測數(shù)據(jù)的傳輸存儲與調(diào)度技術(shù)研究.pdf

1、隨著無線電技術(shù)的發(fā)展和移動互聯(lián)網(wǎng)的興起，大量的便攜可移動的監(jiān)測終端逐漸成為頻譜監(jiān)測的主力，由監(jiān)測網(wǎng)規(guī)模的擴大而帶來了一系列數(shù)據(jù)傳輸、數(shù)據(jù)存儲和數(shù)據(jù)分析處理的問題。本文正是在此背景下，從頻譜數(shù)據(jù)的角度出發(fā)，展開了對網(wǎng)絡(luò)擁塞情況下的數(shù)據(jù)傳輸，海量頻譜數(shù)據(jù)文件的存儲，以及對大量頻譜數(shù)據(jù)分析處理任務(wù)的調(diào)度研究，為未來的頻譜監(jiān)測提供了思路。
　　本文首先根據(jù)頻譜監(jiān)測系統(tǒng)的總體要求，提出了一種面向大數(shù)據(jù)高并發(fā)的分布式服務(wù)集群架構(gòu)，根據(jù)功能角色

2、的不同將服務(wù)器劃分成監(jiān)控服務(wù)器、文件服務(wù)器、數(shù)據(jù)庫服務(wù)器、計算服務(wù)器、web服務(wù)器，每種服務(wù)器都能以集群的方式提供服務(wù)，有效的增強了系統(tǒng)的服務(wù)能力和擴展性。
　　其次在該系統(tǒng)的基礎(chǔ)上，本文提出了一種基于數(shù)據(jù)傳輸時延及數(shù)據(jù)優(yōu)先級、監(jiān)測終端類型和工作狀態(tài)的擁塞控制機制，使用該機制各監(jiān)測終端能夠在出現(xiàn)網(wǎng)絡(luò)擁塞的情況下根據(jù)擁塞程度自動對文件抽取以控制數(shù)據(jù)的發(fā)送速率，從而在緩解網(wǎng)絡(luò)擁塞的同時也能維持良好的監(jiān)測效果。
　　對于系統(tǒng)中產(chǎn)生

3、的海量頻譜數(shù)據(jù)的存儲，本文使用基于Redis和MongoDB的非關(guān)系型數(shù)據(jù)庫構(gòu)成的分布式存儲系統(tǒng)。使用Redis構(gòu)建分布式緩存解決了高并發(fā)情況下監(jiān)測終端實時數(shù)據(jù)寫入問題，利用其在內(nèi)存中緩存最新數(shù)據(jù)加快了數(shù)據(jù)分析時的讀寫速度。通過MongoDB數(shù)據(jù)庫的自動分片和靈活擴展特性實現(xiàn)了頻譜數(shù)據(jù)的持久化存儲。
　　最后，針對當前頻譜監(jiān)測系統(tǒng)中遠程讀取文件數(shù)據(jù)耗時較長的問題，本文提出了一種基于任務(wù)分類的動態(tài)延遲調(diào)度算法，該算法使用模糊綜合評價