視頻關(guān)鍵幀提取及人臉表情識別.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)和機頂盒、網(wǎng)絡(luò)播放機等嵌入式設(shè)備的迅猛發(fā)展，各種文本信息和流媒體每天都在成倍的增長?；ヂ?lián)網(wǎng)上的各種色情小說、圖像、視頻等有害青少年身心健康的信息，可能使他們形成錯誤的人生觀世界觀價值觀，給社會的精神文明建設(shè)造成一定的不良影響。為了減少不良視頻對青少年健康成長的影響，我們有必要研究不良視頻的特點并且對其進行檢測。而研究不良視頻特點和檢測時，首先要進行場景分割、鏡頭分割和提取關(guān)鍵幀，我們利用關(guān)鍵幀序列代表視頻的主要內(nèi)容，進而把

2、研究不良視頻特點問題轉(zhuǎn)換為研究關(guān)鍵幀中的內(nèi)容，這樣大大減少了處理的數(shù)據(jù)量。然后對關(guān)鍵幀序列可以從表情，動作等各方面開展，本文主要從表情方面進行研究，以輔助不良視頻的檢測。
　　本課題組研究不良視頻識別，已經(jīng)完成的工作有場景分類，鏡頭分割，人臉檢測和不良視頻的初步檢測。不良視頻的初步檢測，通過特定視頻的能量曲線建立特征庫，將待測視頻的能量曲線與已經(jīng)建立特征庫中的曲線進行匹配，進而完成特定視頻的檢測。另外，特定視頻的檢測還可以輔助觀眾

3、的表情實現(xiàn)不良視頻的檢測，首先通過錄制觀眾的相關(guān)視頻進行表情識別并綜合不良視頻的初步檢測，然后判斷是否為不良視頻。我們還可以根據(jù)觀眾的年齡，對不適宜的視頻提出警告。本文在上述工作的基礎(chǔ)上，開展下面兩個方面的研究:視頻的關(guān)鍵幀提取，關(guān)鍵幀中表情的識別。
　　在視頻關(guān)鍵幀提取中，提出了基于視覺顯著度和互補性相融合的關(guān)鍵幀提取方法。首先，由于單個特征具有不全面的特性，不同特征之間具有良好的互補性，顯著度能表達一定的語義信息，所以我們利用

4、亮度空間顯著度、局部二值模式(Local BinaryPatterns，LBP)空間顯著度和運動顯著度分別進行關(guān)鍵幀的提取。其次上步獲得的關(guān)鍵幀可能存在冗余，而冗余關(guān)鍵幀不但不能提供有效的信息而且會造成存儲空間和瀏覽時間的浪費，可以通過比較已獲得關(guān)鍵幀之間的相關(guān)系數(shù)，去除相關(guān)系數(shù)較大的關(guān)鍵幀，這樣冗余關(guān)鍵幀的問題可得到一定程度的解決。實驗表明，該方法提取的關(guān)鍵幀符合人類觀察事物的視覺特性并且能比較全面的表達視頻內(nèi)容。
　　在表情識

5、別中，提出了基于改進LDP的表情識別方法。首先，對已經(jīng)獲得的關(guān)鍵幀進行基于AdaBoost算法的人臉檢測，對于存在人臉的關(guān)鍵幀進行后續(xù)處理，然后由于LBP從概念上可以認為是沒有方向性的一階局部模式操作算子，然而LDP能夠描述一定的方向信息，但不能區(qū)別方向變化的不同，所以我們提出了利用改進LDP提取表情的特征，改進的LDP對方向變化情況不同也能夠編碼。最后由于K近鄰算法對于未知和非正態(tài)分布的數(shù)據(jù)可以取得較好的分類效果，容易實現(xiàn)，所以我們利