基于視覺信息分析的圖像和視頻理解及檢索.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，當前世界不斷涌現(xiàn)出各種新興的社交媒體，例如:Facebook，F(xiàn)lickr，Twitter，Instagram等等。而伴隨著這些新的網(wǎng)絡媒體的出現(xiàn)，各種圖像和視頻媒體每天以數(shù)以億記的數(shù)量產(chǎn)生，不斷地被傳播，分享和編輯。如何基于這些圖像和視頻更有效和快速地理解及檢索就成了一個值得研究和有趣的課題。
　　在本文中我們分別對圖像和視頻的理解和檢索進行了討論，使之能更有效地服務于信息檢索引擎的檢索和理解。
　　

2、在圖像的重排序部分，我們提出了一種重排序圖像檢索結果的新方法，它可以被適用到對象類和場景類中。我們首先介紹了兩種方法:范本模型和顯著圖模型。范本模式是自上而下的方法，該方法考慮同一個類中圖像的感興趣區(qū)域(ROI)，它包含很多類似的顯著特征。這些顯著特征可以被用來訓練模型，并重新排名查詢的測試圖片。另一方面，顯著圖模型是一個自底向上的方法，該方法采用贏者通吃和返回抑制機制來找出梯度下降顯著的區(qū)塊，其顯著圖像可以用來進行重排序。在實驗中，我

3、們觀察到的范本模型在對象類中表現(xiàn)良好，而顯著圖模型在場景類更好，兩個方法專注于不同的方面。最后，我們提出了一個方法ExSM模型，結合了范本模型和顯著圖模型的優(yōu)勢。ExSM在場景類和對象類中都表現(xiàn)得很好。
　　在視頻理解部分，我們提出了一種方法，它結合了權重模板和時空模板來識別人類的動作。首先，考慮到身體的不同部位在不同的行為動作中發(fā)揮著截然不同的重要角色。所以在人類動作的識別中，我們建議采用于基于光流局部描述符的權重不同的動作識別