基于統(tǒng)計學(xué)的視頻語義分析與提取技術(shù)研究.pdf

1、視頻分析是多媒體信息處理的重要研究內(nèi)容。多媒體信息呈現(xiàn)爆炸式增長，海量視頻數(shù)據(jù)需要高效的瀏覽、檢索工具進行管理和訪問?，F(xiàn)有內(nèi)容分析技術(shù)大多是基于非語義低層物理特征，不僅難以理解而且與人類思維中的高層語義概念相差甚遠(yuǎn)，嚴(yán)重影響和制約了基于內(nèi)容的視頻管理、檢索技術(shù)進一步推廣和應(yīng)用。如何跨越低層特征和高層語義概念間的語義鴻溝，以語義概念來管理、訪問視頻數(shù)據(jù)，已成為多媒體領(lǐng)域頗具挑戰(zhàn)性的研究課題。 本文基于統(tǒng)計學(xué)理論，提出了一個視頻數(shù)據(jù)

2、多粒度語義分析和提取的通用解決方案。在該方案中，多層次語義分析與多模式信息融合技術(shù)在同一模型中得到統(tǒng)一和應(yīng)用。本文首先提出了一種基于統(tǒng)計分布的鏡頭漸變邊界檢測方法，并用一種具有時間語義語境約束的關(guān)鍵幀選取策略對時域內(nèi)容進行表示；然后在基本視覺語義識別后，得出一種層次的多粒度視覺語義分析提取框架；隨后把時頻變換得到的聲音頻譜作為可觀察特征，構(gòu)建了基本聲音語義識別的隱馬爾可夫模型，通過語義窗口獲得基本聲音語義組后，按照高層邏輯定義提取音頻高

3、層語義；最后仿照人腦多感覺器官信息融合機理，將視頻中多模式特征按不同類別進行劃分，設(shè)計了一種基于仿生的視頻語義分析兩級多模式信息融合算法。 本文的創(chuàng)新點是： （1）提出一種多層次／多粒度視覺語義分析的通用框架。仿照人類視覺系統(tǒng)的注意力機制，利用時空注意力模型選擇動態(tài)和靜態(tài)顯著區(qū)域；將所選區(qū)域用模式分類技術(shù)進行基本視覺語義分類識別；設(shè)計了一種適合基本視覺語義分類識別的特征選擇算法；得出一種定步長組合劃分方法，用于對具有多峰

4、分布屬性的特殊顯著區(qū)域進行基本視覺語義識別；將高層視覺語義看作是隱含狀態(tài)，利用層次隱馬爾可夫模型和幀切片策略建立時間語義語境約束后，對高層視覺語義進行提取。 （2）提出一種對音頻語義分析和提取的方法。采用隱馬爾可夫模型（HMMs）對分析窗口內(nèi)的基本聲音語義進行識別；以貝葉斯決策排除語義窗口聲音段中的未定義基本語義；按貝葉斯公式計算最大后驗概率后，得到語義窗口內(nèi)的一個基本聲音語義組；采用高層語義邏輯定義來描述基本語義與高層聲音語義