基于時(shí)空顯著性的視頻場(chǎng)景解析.pdf

1、場(chǎng)景解析是理解圖像和視頻至關(guān)重要的一步。作為近年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域最活躍的研究方向之一，場(chǎng)景解析在自動(dòng)車(chē)輛導(dǎo)航、遙感、地表外貌自動(dòng)識(shí)別、圖像檢索等諸多領(lǐng)域都具有十分廣泛的應(yīng)用前景。
　　通常，場(chǎng)景理解涉及兩個(gè)部分：場(chǎng)景內(nèi)容的提取和場(chǎng)景內(nèi)容的識(shí)別。本文利用顯著性模擬視覺(jué)注意機(jī)制提取場(chǎng)景中的顯著區(qū)域，然后使用改進(jìn)的圖像場(chǎng)景解析算法完成視頻場(chǎng)景內(nèi)容的分層標(biāo)注。主要研究工作如下：
　　1)針對(duì)現(xiàn)有時(shí)空顯著性檢測(cè)模型對(duì)于運(yùn)動(dòng)特征的描述不

2、是過(guò)于簡(jiǎn)單導(dǎo)致不足以包含豐富的運(yùn)動(dòng)信息，就是太過(guò)復(fù)雜導(dǎo)致耗時(shí)太多的問(wèn)題，提出一種基于慢特征分析的時(shí)空顯著性檢測(cè)模型。該方法首先以非監(jiān)督的方式從不同視頻序列的時(shí)空立方體中學(xué)習(xí)緩慢特征函數(shù)，然后利用兩層級(jí)聯(lián)的緩慢特征核來(lái)提取像素級(jí)的高層運(yùn)動(dòng)特征用于計(jì)算時(shí)間顯著性，最后將獲得的時(shí)間顯著圖與基于布爾圖的空間顯著圖融合生成最終的時(shí)空顯著圖。在JPEGS視頻序列數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，提出的方法優(yōu)于其他的時(shí)空顯著模型，獲得了更好的顯著區(qū)域提取效果。

3、
　　2)針對(duì)通常的非參數(shù)圖像場(chǎng)景解析方法中利用人工特征的圖像檢索存在噪聲圖像導(dǎo)致不高的像素識(shí)別，以及利用 KNN的超像素分類(lèi)傾向于忽略稀少類(lèi)別而帶來(lái)較低的類(lèi)別識(shí)別這兩個(gè)問(wèn)題，提出一種自動(dòng)特征學(xué)習(xí)的場(chǎng)景解析方法。該方法首先利用深度學(xué)習(xí)框架提取CNN特征代替?zhèn)鹘y(tǒng)的人工特征（如gist特征和空間金字塔匹配）用于場(chǎng)景相似性的圖像檢索，然后將 KNN與集成分類(lèi)器技術(shù)相結(jié)合，通過(guò)合并不同概率分類(lèi)器的似然得分來(lái)調(diào)整 KNN分類(lèi)的似然估計(jì)，從而

4、增強(qiáng)稀少類(lèi)別的分類(lèi)性能。在兩個(gè)公開(kāi)數(shù)據(jù)集SIFTflow和LMSun上的實(shí)驗(yàn)結(jié)果表明，CNN特征在場(chǎng)景相似性描述上優(yōu)于人工特征，大大提高了場(chǎng)景標(biāo)注的像素識(shí)別率；另外KNN與集成分類(lèi)器的融合使得場(chǎng)景標(biāo)注的類(lèi)別識(shí)別率得到顯著提高。
　　3)針對(duì)傳統(tǒng)的非參數(shù)解析方法沒(méi)有考慮到場(chǎng)景中顯著區(qū)域所帶來(lái)的語(yǔ)義重要性，導(dǎo)致一些具有稀少特性的顯著區(qū)域標(biāo)注不正確這一問(wèn)題，提出一種基于感興趣區(qū)域的視頻場(chǎng)景標(biāo)注算法。該方法首先利用時(shí)空顯著性模擬人眼視覺(jué)注