基于視覺(jué)信息分析的圖像和視頻理解及檢索.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，當(dāng)前世界不斷涌現(xiàn)出各種新興的社交媒體，例如:Facebook，F(xiàn)lickr，Twitter，Instagram等等。而伴隨著這些新的網(wǎng)絡(luò)媒體的出現(xiàn)，各種圖像和視頻媒體每天以數(shù)以億記的數(shù)量產(chǎn)生，不斷地被傳播，分享和編輯。如何基于這些圖像和視頻更有效和快速地理解及檢索就成了一個(gè)值得研究和有趣的課題。
　　在本文中我們分別對(duì)圖像和視頻的理解和檢索進(jìn)行了討論，使之能更有效地服務(wù)于信息檢索引擎的檢索和理解。
　　

2、在圖像的重排序部分，我們提出了一種重排序圖像檢索結(jié)果的新方法，它可以被適用到對(duì)象類(lèi)和場(chǎng)景類(lèi)中。我們首先介紹了兩種方法:范本模型和顯著圖模型。范本模式是自上而下的方法，該方法考慮同一個(gè)類(lèi)中圖像的感興趣區(qū)域(ROI)，它包含很多類(lèi)似的顯著特征。這些顯著特征可以被用來(lái)訓(xùn)練模型，并重新排名查詢的測(cè)試圖片。另一方面，顯著圖模型是一個(gè)自底向上的方法，該方法采用贏者通吃和返回抑制機(jī)制來(lái)找出梯度下降顯著的區(qū)塊，其顯著圖像可以用來(lái)進(jìn)行重排序。在實(shí)驗(yàn)中，我

3、們觀察到的范本模型在對(duì)象類(lèi)中表現(xiàn)良好，而顯著圖模型在場(chǎng)景類(lèi)更好，兩個(gè)方法專注于不同的方面。最后，我們提出了一個(gè)方法ExSM模型，結(jié)合了范本模型和顯著圖模型的優(yōu)勢(shì)。ExSM在場(chǎng)景類(lèi)和對(duì)象類(lèi)中都表現(xiàn)得很好。
　　在視頻理解部分，我們提出了一種方法，它結(jié)合了權(quán)重模板和時(shí)空模板來(lái)識(shí)別人類(lèi)的動(dòng)作。首先，考慮到身體的不同部位在不同的行為動(dòng)作中發(fā)揮著截然不同的重要角色。所以在人類(lèi)動(dòng)作的識(shí)別中，我們建議采用于基于光流局部描述符的權(quán)重不同的動(dòng)作識(shí)別