視頻監(jiān)控系統(tǒng)中數(shù)據(jù)的存取優(yōu)化技術(shù)研究.pdf

1、隨著人們對公共安全越來越重視,視頻監(jiān)控系統(tǒng)在安全防范領(lǐng)域的作用日益突出?，F(xiàn)代的視頻監(jiān)控系統(tǒng)需要存儲海量的數(shù)據(jù),包括視頻數(shù)據(jù)和小文件數(shù)據(jù)(關(guān)鍵幀、運動物體截圖)等,對這些數(shù)據(jù)進行高效的存取是非常重要的?；贖adoop分布式框架對海量的視頻監(jiān)控數(shù)據(jù)進行存儲和處理。Hadoop在對海量的視頻監(jiān)控數(shù)據(jù)進行存儲和處理的過程中存在兩個問題:其一,OpenCV沒有提供解析二進制視頻流的接口,導(dǎo)致對視頻進行分布式處理時視頻的讀取性能較差。其二,分布式

2、文件系統(tǒng)對于大文件的流式訪問效率非常高,但是對于小文件的存取性能非常低下。
　　根據(jù)OpenCV解析本地視頻文件的原理,通過將二進制視頻流順序傳輸?shù)浇獯a包的緩沖區(qū)中,調(diào)用解碼器對解碼包中的數(shù)據(jù)進行解析,實現(xiàn)了二進制視頻流的解析和視頻的讀取優(yōu)化,以減少Map任務(wù)的執(zhí)行時間。在分布式文件系統(tǒng)中增加小文件的處理模塊,利用視頻監(jiān)控系統(tǒng)中小文件存取的相關(guān)性及連續(xù)性的特點,將系統(tǒng)中的小文件合并成大文件進行存取,以提高小文件的寫入性能;采取兩級

3、元數(shù)據(jù)機制以減少元數(shù)據(jù)節(jié)點的內(nèi)存占用,有效的利用數(shù)據(jù)節(jié)點的內(nèi)存:在元數(shù)據(jù)節(jié)點中保存小文件的一級索引信息,在數(shù)據(jù)節(jié)點中保存小文件的二級索引信息;另外在數(shù)據(jù)節(jié)點中采用分布獨立式緩存結(jié)構(gòu),利用小文件數(shù)據(jù)存取的連續(xù)性,對文件數(shù)據(jù)進行緩存預(yù)取,以提高小文件的讀取性能。
　　實驗表明,基于二進制流的解析方法的視頻解析速度比現(xiàn)有的方法提高了10％~30%;對于視頻監(jiān)控系統(tǒng)中的小文件,相比于原生的HDFS,改進后的HDFS的小文件寫入速度整體提高