家用視頻內(nèi)容分析方法研究.pdf

1、 隨著便攜式電子記錄設(shè)備的普及，越來越多的家庭用戶開始使用這些設(shè)備來記錄有意義的生活經(jīng)歷和日常生活片斷，家用視頻的數(shù)據(jù)量呈現(xiàn)出快速增長的趨勢。但是，家用視頻具有視覺和聲音質(zhì)量較差、內(nèi)容沒有經(jīng)過編輯等特點(diǎn)。為了實(shí)現(xiàn)對家用視頻內(nèi)容的自動(dòng)、有效的組織和管理，減輕普通家庭用戶瀏覽、檢索和共享視頻內(nèi)容的負(fù)擔(dān)，視頻內(nèi)容分析已經(jīng)成為家用視頻領(lǐng)域一個(gè)重要的研究課題。對家用視頻內(nèi)容分析方法進(jìn)行研究，不僅能為家庭用戶提供個(gè)性化的多媒體服務(wù)，而且有助于

2、推動(dòng)視頻領(lǐng)域的語義建模、機(jī)器學(xué)習(xí)和信息檢索等相關(guān)課題的發(fā)展。由此可見，家用視頻內(nèi)容分析方法研究具有重要的理論和應(yīng)用價(jià)值。 本論文從三個(gè)不同層次研究了家用視頻內(nèi)容分析中的關(guān)鍵問題，即質(zhì)量評估、內(nèi)容理解和內(nèi)容表征，目標(biāo)是實(shí)現(xiàn)一個(gè)自動(dòng)理解、表征和瀏覽的家用視頻處理系統(tǒng)。由于家用視頻視覺質(zhì)量較差的特點(diǎn)，為實(shí)現(xiàn)對家用視頻內(nèi)容的過濾，質(zhì)量評估成為內(nèi)容分析的一個(gè)基本步驟，處于最底層。內(nèi)容理解主要解決對視頻內(nèi)容中的語義概念進(jìn)行建模，處于比質(zhì)量評

3、估更高的層次。而內(nèi)容表征則是基于質(zhì)量評估和內(nèi)容理解的結(jié)果，對家用視頻內(nèi)容以最緊湊和有效的方式進(jìn)行表征；作為家用視頻的一種應(yīng)用，它處于最高層。這三個(gè)層次組成了家用視頻內(nèi)容分析的一個(gè)相對完整的框架。本文對家用視頻內(nèi)容分析方法進(jìn)行了深入的研究，取得了以下成果： (1)對于質(zhì)量評估問題，針對目前家用視頻領(lǐng)域缺乏專門的視覺質(zhì)量評估方法這一現(xiàn)狀，提出了一個(gè)全新的、面向家用視頻的時(shí)空質(zhì)量評估方法，并深入研究了影響整體視覺質(zhì)量的幾個(gè)關(guān)鍵時(shí)空因素

4、以及這些因素和整體視覺質(zhì)量的內(nèi)在關(guān)系。與傳統(tǒng)的基于單幀圖像的質(zhì)量評估方法不同的是，采用子鏡頭這種視頻時(shí)序結(jié)構(gòu)單元作為質(zhì)量評估的基本單位。在子鏡頭上分析了一組影響視覺質(zhì)量的時(shí)空因素，包括不穩(wěn)定性、驟動(dòng)性、失真性、模糊性、亮度性和方向性，并提出三種方法將這些時(shí)空因素融合到整體視覺質(zhì)量的評估準(zhǔn)則中，分別是基于用戶研究、基于規(guī)則和基于學(xué)習(xí)的方法。為實(shí)現(xiàn)對視頻內(nèi)容的過濾，提出了一個(gè)可擴(kuò)展的、基于視覺質(zhì)量的家用視頻摘要系統(tǒng)，目的是在保證視頻摘要信息

5、性的同時(shí)，保證其視覺質(zhì)量最優(yōu)。與基于用戶注意力的視頻摘要系統(tǒng)的對比實(shí)驗(yàn)表明，本文提出的基于質(zhì)量的視頻摘要系統(tǒng)對家用視頻具有更好的適用性。 (2)對于內(nèi)容理解問題，從“用戶拍攝意圖”這一全新的角度來研究家用視頻內(nèi)容分析方法，并參考心理學(xué)上的意圖產(chǎn)生機(jī)制，建立了對用戶拍攝意圖進(jìn)行建模和挖掘的完整的理論和系統(tǒng)框架。首先，基于心理學(xué)上的意圖機(jī)制和廣泛的用戶研究實(shí)驗(yàn)，定義了一組用戶拍攝意圖的概念，包括“靜態(tài)場景”、“動(dòng)態(tài)事件”、“特寫畫面

6、”、“美麗風(fēng)景”、“轉(zhuǎn)換記錄”、“長時(shí)間記錄”和“隨意記錄，，等。提出了一個(gè)對用戶拍攝意圖進(jìn)行挖掘的全面和可擴(kuò)展的框架，包括視頻結(jié)構(gòu)分解、意圖相關(guān)的特征分析、基于奇異值分解的意圖單元分割和基于學(xué)習(xí)的意圖概念分類等部分。實(shí)驗(yàn)在一個(gè)具有90段家用視頻序列、由16位普通家庭用戶在最近20年拍攝的視頻數(shù)據(jù)庫上進(jìn)行?？陀^和主觀評價(jià)都驗(yàn)證了意圖挖掘這一全新分析方法的有效性。 (3)對于內(nèi)容表征問題，提出了一個(gè)新的家用視頻內(nèi)容表征和瀏覽系統(tǒng)—

7、—視頻相冊，改變了普通家庭用戶傳統(tǒng)的利用PC機(jī)、鍵盤和鼠標(biāo)的視頻瀏覽方式，支持更為自然和有效的視頻瀏覽和檢索，從而在數(shù)字家用視頻和模擬家庭相冊之間建立了一種無縫的通信方式。首先，視頻相冊通過基于優(yōu)化的方法挑選出具有代表性的縮略圖集合，并將這些縮略圖按照預(yù)定義的個(gè)性化形狀模板進(jìn)行變形，然后采用基于關(guān)鍵幀或全拼圖的方式對變形后的縮略圖進(jìn)行表征，并將其打印成真實(shí)的相冊形式。這樣，用戶可以像瀏覽普通家庭相冊一樣瀏覽視頻相冊。當(dāng)用戶想觀看打印出來

8、的視頻相冊中特定照片對應(yīng)的視頻片斷時(shí)，可以通過手機(jī)或其他拍攝設(shè)備隨意的拍下該照片，并通過無線網(wǎng)絡(luò)將其傳送到服務(wù)器。服務(wù)器中的視頻相冊系統(tǒng)將通過自訓(xùn)練主動(dòng)形狀模型算法對拍攝的照片輪廓進(jìn)行精確定位和重建。最后，根據(jù)重建的照片內(nèi)容特征對相應(yīng)的視頻片斷進(jìn)行檢索，并將該片斷在用戶終端進(jìn)行回放。 (4)在視頻相冊系統(tǒng)中，分別對傳統(tǒng)的全拼圖和主動(dòng)形狀模型算法進(jìn)行了改進(jìn)。提出一種新的基于運(yùn)動(dòng)特征的快速有效的全拼圖算法，在提高全拼圖視覺質(zhì)量的同時(shí)