面向感知的視頻內(nèi)容表示研究.pdf

1、視頻內(nèi)容分析是近年來(lái)非常活躍的一個(gè)研究方向，其基本研究目的是研制自動(dòng)化的算法和系統(tǒng)，以便于實(shí)現(xiàn)對(duì)視頻信息的有效組織、管理和再利用。視頻內(nèi)容表示是視頻分析系統(tǒng)中的一項(xiàng)重要內(nèi)容，已成為解決低層特征和高層語(yǔ)義之間的語(yǔ)義鴻溝問(wèn)題的主要途徑之一，其研究目的是通過(guò)對(duì)視頻數(shù)據(jù)的處理和分析，建立具有語(yǔ)義表征性的內(nèi)容表示模式，進(jìn)而實(shí)現(xiàn)對(duì)視頻內(nèi)容的表達(dá)和描述。鑒于其重要地位和功能，論文針對(duì)視頻內(nèi)容表示進(jìn)行了研究。 論文基于視覺(jué)認(rèn)知理論的有關(guān)研究成果

2、，構(gòu)建面向感知的內(nèi)容表示機(jī)制，主要包括三個(gè)方面：基于語(yǔ)義單元、基于事件和基于關(guān)鍵幀的內(nèi)容表示的研究，提出了有效的算法，并用實(shí)驗(yàn)驗(yàn)證了這些算法的有效性。 在基于語(yǔ)義單元的表示上，將注意力機(jī)制引入視頻信息的分析，針對(duì)視頻序列中的圖像幀，提出了一種有效的視頻信息顯著性分析方法，用于提取符合感知過(guò)程中受注意程度高的區(qū)域，即顯著區(qū)域。 由于視頻信息的時(shí)空特性，單幅圖像幀的顯著區(qū)域不能滿(mǎn)足視頻語(yǔ)義分析的要求。為了提取更為有效的語(yǔ)義單

3、元，除了需要空域的區(qū)域分割外還需要進(jìn)行時(shí)域的分析以獲得空域和時(shí)域兩方面的語(yǔ)義信息。通過(guò)顯著區(qū)域的時(shí)空特征一致性分析，論文提出了一種基于時(shí)空顯著單元的提取算法，得到一個(gè)時(shí)間段內(nèi)具有內(nèi)容一致性的時(shí)空區(qū)域，即時(shí)空顯著單元，其內(nèi)容表征能力在視頻序列匹配的應(yīng)用實(shí)驗(yàn)中得到驗(yàn)證。 在基于事件級(jí)的內(nèi)容表示上，根據(jù)人對(duì)事件的視覺(jué)感知特點(diǎn)，論文構(gòu)建了一個(gè)事件級(jí)內(nèi)容表示模型。并在此模型基礎(chǔ)上，針對(duì)體育視頻中的特定語(yǔ)義事件，提出了一種有效的語(yǔ)義事件檢測(cè)