基于協(xié)同流形排序的多模態(tài)視覺(jué)顯著性檢測(cè)方法研究.pdf

1、科技進(jìn)步產(chǎn)生了海量的數(shù)據(jù)，豐富了人們的日常生活，也給計(jì)算機(jī)視覺(jué)處理技術(shù)帶來(lái)了巨大的挑戰(zhàn)。人類(lèi)視覺(jué)系統(tǒng)善于從海量數(shù)據(jù)中快速捕獲令人感興趣的區(qū)域，如何利用這種視覺(jué)注意機(jī)制，準(zhǔn)確高效地提取出重要信息，濾除過(guò)多冗余數(shù)據(jù)，已成為一個(gè)炙手可熱的研究課題。視覺(jué)顯著性檢測(cè)是計(jì)算機(jī)視覺(jué)中活躍領(lǐng)域之一，能夠輔助并改善一系列的視覺(jué)處理任務(wù)，近年來(lái)，受到越來(lái)越多研究學(xué)者的關(guān)注。雖然目前這方面的研究取得了一定進(jìn)展，但是對(duì)于可見(jiàn)光下的嘈雜背景、惡劣氣候等因素，視覺(jué)

2、顯著性檢測(cè)仍然是一個(gè)非常具有挑戰(zhàn)性的難題。圍繞上述挑戰(zhàn)，集成多個(gè)不同但是互補(bǔ)的模態(tài)信息，像可見(jiàn)光和熱紅外光譜信息(RGB-T)，可能會(huì)是一種提高顯著性檢測(cè)結(jié)果的有效方式。本文結(jié)合流形排序模型并融合多模態(tài)光譜信息，提出一種基于圖的多任務(wù)流形排序模型的圖像顯著性檢測(cè)算法以及滿(mǎn)足時(shí)空一致性的視頻顯著性檢測(cè)算法。
　　針對(duì)傳統(tǒng)可見(jiàn)光圖像顯著性檢測(cè)算法中存在的問(wèn)題，本文利用多模態(tài)信息的互補(bǔ)性，提出一種新穎的協(xié)同多模態(tài)信息的多任務(wù)流形排序模型

3、，實(shí)現(xiàn)魯棒的多模態(tài)圖像顯著性檢測(cè)。首先，通過(guò)分割算法得到原圖的超像素圖，利用超像素結(jié)點(diǎn)之間的空間連續(xù)性以及外觀一致性，構(gòu)造合適的圖模型。其次，通過(guò)引入模態(tài)可靠性權(quán)重并進(jìn)行正則化約束以避免平凡解，構(gòu)建協(xié)同流形排序模型，實(shí)現(xiàn)自適應(yīng)的信息融合。然后，引入跨模態(tài)一致性約束和邊界先驗(yàn)知識(shí)，并利用快速優(yōu)化算法，計(jì)算出所有超像素結(jié)點(diǎn)的顯著排序值，實(shí)現(xiàn)多模態(tài)圖像的顯著性檢測(cè)。最后，為促進(jìn)顯著性檢測(cè)算法的評(píng)估，本文創(chuàng)建了一個(gè)基于可見(jiàn)光熱紅外圖像的顯著性檢

4、測(cè)數(shù)據(jù)集。在新建數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文所提出的方法可以顯著提高圖像顯著性檢測(cè)的精度。
　　在視頻顯著性檢測(cè)方面，考慮到可見(jiàn)光視頻易受到天氣、光照、復(fù)雜背景的影響，本文引入熱紅外視頻信息，加入時(shí)空顯著一致性約束，提出了一種基于時(shí)空一致性協(xié)同流形排序模型的多模態(tài)視頻顯著性檢測(cè)方法。首先，本文充分利用單幀圖像的多模態(tài)信息和模態(tài)權(quán)重計(jì)算出視頻中的顯著區(qū)域，并約束不同模態(tài)之間的顯著目標(biāo)具有一致性。其次，本文提出一種“流處理”方式，批量