基于協(xié)同流形排序的多模態(tài)視覺顯著性檢測方法研究.pdf

1、科技進步產(chǎn)生了海量的數(shù)據(jù)，豐富了人們的日常生活，也給計算機視覺處理技術帶來了巨大的挑戰(zhàn)。人類視覺系統(tǒng)善于從海量數(shù)據(jù)中快速捕獲令人感興趣的區(qū)域，如何利用這種視覺注意機制，準確高效地提取出重要信息，濾除過多冗余數(shù)據(jù)，已成為一個炙手可熱的研究課題。視覺顯著性檢測是計算機視覺中活躍領域之一，能夠輔助并改善一系列的視覺處理任務，近年來，受到越來越多研究學者的關注。雖然目前這方面的研究取得了一定進展，但是對于可見光下的嘈雜背景、惡劣氣候等因素，視覺

2、顯著性檢測仍然是一個非常具有挑戰(zhàn)性的難題。圍繞上述挑戰(zhàn)，集成多個不同但是互補的模態(tài)信息，像可見光和熱紅外光譜信息(RGB-T)，可能會是一種提高顯著性檢測結果的有效方式。本文結合流形排序模型并融合多模態(tài)光譜信息，提出一種基于圖的多任務流形排序模型的圖像顯著性檢測算法以及滿足時空一致性的視頻顯著性檢測算法。
　　針對傳統(tǒng)可見光圖像顯著性檢測算法中存在的問題，本文利用多模態(tài)信息的互補性，提出一種新穎的協(xié)同多模態(tài)信息的多任務流形排序模型

3、，實現(xiàn)魯棒的多模態(tài)圖像顯著性檢測。首先，通過分割算法得到原圖的超像素圖，利用超像素結點之間的空間連續(xù)性以及外觀一致性，構造合適的圖模型。其次，通過引入模態(tài)可靠性權重并進行正則化約束以避免平凡解，構建協(xié)同流形排序模型，實現(xiàn)自適應的信息融合。然后，引入跨模態(tài)一致性約束和邊界先驗知識，并利用快速優(yōu)化算法，計算出所有超像素結點的顯著排序值，實現(xiàn)多模態(tài)圖像的顯著性檢測。最后，為促進顯著性檢測算法的評估，本文創(chuàng)建了一個基于可見光熱紅外圖像的顯著性檢

4、測數(shù)據(jù)集。在新建數(shù)據(jù)集上的實驗結果表明，本文所提出的方法可以顯著提高圖像顯著性檢測的精度。
　　在視頻顯著性檢測方面，考慮到可見光視頻易受到天氣、光照、復雜背景的影響，本文引入熱紅外視頻信息，加入時空顯著一致性約束，提出了一種基于時空一致性協(xié)同流形排序模型的多模態(tài)視頻顯著性檢測方法。首先，本文充分利用單幀圖像的多模態(tài)信息和模態(tài)權重計算出視頻中的顯著區(qū)域，并約束不同模態(tài)之間的顯著目標具有一致性。其次，本文提出一種“流處理”方式，批量