用大數(shù)據(jù)技術(shù)挖掘視頻監(jiān)控數(shù)據(jù)的價值

1、用大數(shù)據(jù)技術(shù)挖掘視頻監(jiān)控數(shù)據(jù)的價值隨著數(shù)據(jù)量的增加，哪怕對 TB 級別的視頻數(shù)據(jù)進行對視頻內(nèi)容的數(shù)據(jù)分析和檢索，傳統(tǒng)技術(shù)模式下可能需要花費數(shù)小時的計算，已遠遠不能勝任時效性的要求。用戶希望能夠?qū)Ａ繑?shù)據(jù)進行有效管理和使用，快速辨別有效數(shù)據(jù)，提高數(shù)據(jù)利用價值。得益于 IT 信息技術(shù)的快速進步，人類可以隨時隨地記錄下產(chǎn)生的各類數(shù)據(jù)，同時數(shù)據(jù)存儲的成本也正以前所未有的速度下降，大數(shù)據(jù)時代正悄然來臨。在視頻監(jiān)控領(lǐng)域，高清化，大聯(lián)網(wǎng)數(shù)據(jù)匯聚推動視

2、頻大數(shù)據(jù)形成，業(yè)務(wù)實戰(zhàn)化推動大數(shù)據(jù)分析需求。一、視頻監(jiān)控業(yè)務(wù)的大數(shù)據(jù)特征 視頻監(jiān)控業(yè)務(wù)的大數(shù)據(jù)特征在視頻監(jiān)控領(lǐng)域，大數(shù)據(jù)的特點，可用 Volume、Variety、Velocity、Value 這 4 個 V 來概括(如圖 1)。大數(shù)據(jù)的特點包括以下幾點：第一，數(shù)據(jù)體量巨大(Volume)。高清化帶來單個監(jiān)控點數(shù)據(jù)量即以指數(shù)級增長，例如單個 1080PIPC30 天就會產(chǎn)生 2T數(shù)據(jù);IP 化大聯(lián)網(wǎng)后，各平臺實現(xiàn)互聯(lián)，平安城市網(wǎng)內(nèi)攝像頭

3、數(shù)量達數(shù)萬數(shù)十萬級別，其數(shù)據(jù)量之巨大可想而知。第二，數(shù)據(jù)類型繁多(Variety)。視頻監(jiān)控領(lǐng)域的視頻編碼格式包括：H.264、MPEG-4、MJPEG 等多樣化的編碼方式。而同時隨著各類物聯(lián)網(wǎng)技術(shù)的融入到視頻監(jiān)控業(yè)務(wù)，匯聚了包括各種傳感器、IT、CT 系統(tǒng)產(chǎn)生的多樣的數(shù)據(jù)。業(yè)務(wù)系統(tǒng)需要把結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)相互關(guān)聯(lián)，統(tǒng)一存儲。第三，處理速度快(Velocity)。視頻數(shù)據(jù)隨時間快速增長，并以持續(xù)順序到達。在視頻監(jiān)控領(lǐng)域，視頻分析的效率

4、決定價值，更低的延遲、更準確的分析是平安城市這類客戶的普遍需求。隨著數(shù)據(jù)量的增加，哪怕對 TB 級別的數(shù)據(jù)進行視頻內(nèi)容的數(shù)據(jù)分析和檢索，采用串行計算模式都可能需要花費數(shù)小時的計算，已遠遠不能勝任時效性的需求。第四，價值密度低(Value)，效率要求高。在視頻監(jiān)控業(yè)務(wù)中，價值密度的高低與數(shù)據(jù)總量的大小成反比。一小時的視頻監(jiān)控內(nèi)容，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解

5、決的難題。二、視頻監(jiān)控業(yè)務(wù)的大數(shù)據(jù)應(yīng)用需求 視頻監(jiān)控業(yè)務(wù)的大數(shù)據(jù)應(yīng)用需求隨著數(shù)據(jù)量的增加，哪怕對 TB 級別的視頻數(shù)據(jù)進行對視頻內(nèi)容的數(shù)據(jù)分析和檢索，傳統(tǒng)技術(shù)模式下可能需要花費數(shù)小時的計算，已遠遠不能勝任時效性的要求。用戶希望能夠?qū)Ａ繑?shù)據(jù)進行有效管理和使用，快速辨別有效數(shù)據(jù)，提高數(shù)據(jù)利用價值。分析大數(shù)據(jù)產(chǎn)生小數(shù)據(jù)。攝像頭 7×24 小時工作，如實記錄鏡頭覆蓋范圍內(nèi)發(fā)生的一切，僅僅記錄信息是不夠的，因為對于客戶來講可能大部分信

6、息是無效，有效信息可能只分布在一個較短的時間段內(nèi)，按照數(shù)學統(tǒng)計理論，信息是呈現(xiàn)出冪律分布的，或稱之為信息密度，往往密度越高的信息對客戶價值越大。實時涌入的海量數(shù)據(jù)容易產(chǎn)生大量的休眠數(shù)據(jù)，浪費大量存儲資源。對海量數(shù)據(jù)進行智能分析，提取出價值數(shù)據(jù)片段。建立摘要信息，減少用戶需要面對處理的數(shù)據(jù)量，形成元數(shù)據(jù)信息庫。提純小數(shù)據(jù)產(chǎn)生價值數(shù)據(jù)，例如在公安系統(tǒng)中希望能集中分析過去和現(xiàn)在的犯罪數(shù)據(jù)和視頻圖片，整合所有信息，能提供對犯罪趨勢更全面的看法。

7、這就需要針對海量歷史數(shù)據(jù)實現(xiàn)快速檢索，并對貌似非關(guān)聯(lián)的數(shù)據(jù)進行關(guān)聯(lián)，并在可視化DAU(分布式分析單元)：支持流式計算，可分布式部署，對含視頻在內(nèi)的媒體內(nèi)容進行智能分析;通過媒體數(shù)據(jù)預(yù)處理，支持插件業(yè)務(wù)框架，可引入各類第三方算法插件，基于 ONVIF/PSIA 數(shù)據(jù)封裝器，對協(xié)議進行適配;DPU(數(shù)據(jù)處理單元)：提供包括第三方數(shù)據(jù)接入適配，進行數(shù)據(jù)的匯聚，并對非結(jié)構(gòu)化數(shù)據(jù)歸檔，通過數(shù)據(jù)轉(zhuǎn)換引擎，實現(xiàn)數(shù)據(jù)的清洗和轉(zhuǎn)換，另外根據(jù)規(guī)則引擎下發(fā)實

8、時告警規(guī)則上報實時告警信息;DMU(數(shù)據(jù)挖掘單元)：規(guī)則模型管理，采用可視化界面定義業(yè)務(wù)規(guī)則(Schema);為加快數(shù)據(jù)處理實時性，引入高效率的內(nèi)存數(shù)據(jù)庫技術(shù)。經(jīng)過前面數(shù)據(jù)處理層處理后的數(shù)據(jù)，以關(guān)系型數(shù)據(jù)形式進行存放;AE(應(yīng)用環(huán)境)：業(yè)務(wù)應(yīng)用及呈現(xiàn)，提供業(yè)務(wù)生成框架，用戶可進行靈活的業(yè)務(wù)配置。統(tǒng)一數(shù)據(jù)訪問接口，應(yīng)用開發(fā)環(huán)境，便于第三方合作伙伴進行整治業(yè)務(wù)應(yīng)用開發(fā)。五、大數(shù)據(jù)視頻監(jiān)控構(gòu)架帶來的價值 五、大數(shù)據(jù)視頻監(jiān)控構(gòu)架帶來的價值大數(shù)據(jù)