基于GPU的視頻大數(shù)據(jù)處理方法研究.pdf

1、非結(jié)構(gòu)化的視頻大數(shù)據(jù)具有體量大、信息量大、分析難、計(jì)算耗時(shí)等特點(diǎn)。隨著大數(shù)據(jù)處理需求越來(lái)越大，先后出現(xiàn)了以處理結(jié)構(gòu)化數(shù)據(jù)為中心的大數(shù)據(jù)處理框架Hadoop和Spark，大數(shù)據(jù)框架的出現(xiàn)為視頻大數(shù)據(jù)的存儲(chǔ)和分析提供了新的思路。與此同時(shí)，GPU并行計(jì)算技術(shù)在視頻和圖像處理領(lǐng)域的發(fā)展也取得了較大突破，同樣可以為視頻大數(shù)據(jù)的處理過(guò)程提供強(qiáng)有力的支撐。本文將探索GPU并行計(jì)算與視頻大數(shù)據(jù)處理技術(shù)的有效結(jié)合，以解決視頻大數(shù)據(jù)的處理難題，最后以海冰視

2、頻分析為例驗(yàn)證本研究?jī)?nèi)容。
　　在視頻預(yù)處理階段，采用NVCUVID視頻解碼API實(shí)現(xiàn)泛格式視頻解碼庫(kù)，有效降低高CPU占用；采用NVENC視頻編碼API實(shí)現(xiàn)泛格式視頻編碼庫(kù)，加快編碼速度；針對(duì)海冰視頻圖像幀的特點(diǎn)，提出結(jié)合混合高斯背景建模算法和幀差法實(shí)現(xiàn)的海冰視頻摘要幀提取算法，并采用GPU并行計(jì)算進(jìn)行加速。分別通過(guò)三組實(shí)驗(yàn)驗(yàn)證上述實(shí)現(xiàn)和并行算法。
　　在視頻圖像幀內(nèi)容分析階段，針對(duì)海冰視頻內(nèi)容分析的特點(diǎn)，提出了一種連通區(qū)

3、域快速標(biāo)定與提取算法。將該算法應(yīng)用于具有高密集度的海冰圖像參數(shù)分析，可以有效解決現(xiàn)存連通區(qū)域搜索算法無(wú)法快速處理大尺寸海冰圖像分析的問(wèn)題。針對(duì)基于GPU并行編程技術(shù)實(shí)現(xiàn)的視頻預(yù)處理庫(kù)，通過(guò)Spark的pipe動(dòng)作（Action）設(shè)計(jì)了Spark的調(diào)用接口。針對(duì)采用C++實(shí)現(xiàn)的海冰圖像幀外部分析庫(kù)，通過(guò)JNI技術(shù)設(shè)計(jì)了相應(yīng)的Spark調(diào)用接口。
　　最終設(shè)計(jì)并實(shí)現(xiàn)了基于GPU的海冰視頻大數(shù)據(jù)處理平臺(tái)。以HDFS上的海冰視頻為輸入數(shù)據(jù)