基于時(shí)空上下文的視頻人物關(guān)系挖掘.pdf

1、隨著信息技術(shù)的發(fā)展，越來(lái)越多的圖像和視頻出現(xiàn)在人們的生活中和互聯(lián)網(wǎng)上。如何有效的管理和組織這些多媒體數(shù)據(jù)成為一個(gè)亟待解決的問(wèn)題。對(duì)多媒體內(nèi)容進(jìn)行分析與理解，進(jìn)而對(duì)多媒體數(shù)據(jù)進(jìn)行基于內(nèi)容的分類，為有效的管理和組織這些數(shù)據(jù)提供了新途徑。在大量的視頻中，人物關(guān)系是幫助用戶理解視頻故事情節(jié)的重要線索。尤其是在連續(xù)劇和電影這種故事性強(qiáng)的視頻中，人物關(guān)系包含能夠揭示關(guān)于視頻故事內(nèi)容的更高層的語(yǔ)義信息。
　　在過(guò)去的研究中，基于人物的視頻分析主

2、要集中在主要演員列表、人物索引、會(huì)議視頻分析等幾個(gè)方面。但是，這些研究只是停留在把每個(gè)人物看做獨(dú)立個(gè)體，忽略了他們之間客觀存在的社會(huì)聯(lián)系的層面上。隨著用戶需求的不斷提高，用戶關(guān)心的不僅僅是關(guān)于某個(gè)特定人物的視頻內(nèi)容，還包括能夠有效地反應(yīng)視頻中故事情節(jié)發(fā)展的人物關(guān)系網(wǎng)絡(luò)。
　　挖掘視頻中人物共生關(guān)系目的是根據(jù)視頻內(nèi)容，把人物作為研究中心，通過(guò)視頻分析技術(shù)來(lái)獲得視頻中的高層語(yǔ)義信息。本文通過(guò)建立視頻人物關(guān)系的分析模型，量化人物關(guān)系矩陣

3、并提出通用的局部人物關(guān)系描述子，為視頻分析和視頻檢索提供了一種新穎而有效的方法。
　　本文主要研究工作如下：
　　首先，提出一種基于時(shí)序上下文的人物關(guān)系挖掘的方法。通過(guò)對(duì)視頻數(shù)據(jù)進(jìn)行預(yù)處理，包括進(jìn)行視頻鏡頭和場(chǎng)景的切分、人物特征提取和索引，建立了人物關(guān)系分析的基礎(chǔ)。進(jìn)一步的，采用一種基于上下文高斯加權(quán)的方法來(lái)計(jì)算人物在每個(gè)視頻鏡頭上的共生關(guān)系，同時(shí)考慮到空間位置對(duì)視頻人物關(guān)系的貢獻(xiàn)，融合時(shí)空上下文來(lái)建立人物關(guān)系模型。

4、　　其次，以基于時(shí)空上下文人物關(guān)系的挖掘方法為基礎(chǔ)，本文提出了基于人物共生性語(yǔ)義的人物關(guān)系表達(dá)方法，通過(guò)對(duì)視頻進(jìn)行語(yǔ)義的局部區(qū)域劃分，自動(dòng)確定每個(gè)描述子的時(shí)序數(shù)據(jù)描述范圍，并結(jié)合本文已經(jīng)提出的挖掘方法構(gòu)成局部人物關(guān)系描述子。
　　最后，本章將基于上下文的人物關(guān)系挖掘方法和局部人物關(guān)系描述子應(yīng)用到連續(xù)劇的視頻分析和索引中。在實(shí)驗(yàn)中，本文使用了20小時(shí)的視頻(電視劇“Friends”)作為數(shù)據(jù)，結(jié)合視頻層次結(jié)構(gòu)修正的方法構(gòu)成全局人物關(guān)