圖像與視頻自動語義標注方法研究.pdf

1、基于文本檢索的成熟技術來解決圖像檢索的問題已經取得了很大成功,像Google和Baidu等商業(yè)搜索引擎都已推出了自己的基于文本的圖像檢索服務。但是遺憾的是,互聯(lián)網(wǎng)上大規(guī)模的數(shù)字媒體中僅有非常少量的數(shù)據(jù)是帶有文本標簽和文字描述的,而且數(shù)據(jù)還在快速增加。為了更好的管理和利用這些數(shù)據(jù),讓這些信息豐富的數(shù)據(jù)發(fā)揮更大的價值,對圖像和視頻的語義提取成為了近年研究的熱點。過去十年,基于統(tǒng)計模型和分類模型提出了多種解決方案,但是都沒有達到令人滿意的效果

2、。
　　 多示例多標簽學習(MIML)是近年才出現(xiàn)的一種新的學習框架,由于其對多義性對象的出色表達能力而被運用到圖像分類和標注任務中。MIML將樣本看作由多個示例組成的示例包,并將其與多個語義標注關聯(lián)。與傳統(tǒng)的學習技術相比,MIML對多語義的復雜物體的表示更自然,而實驗也表明MIML在圖像場景分類等問題上都比傳統(tǒng)的學習技術有更好的效果。MIML中對圖像的多示例表示是解決圖像多義性表達的關鍵,其生成方式對標注結果有重要的影響。本文

3、分析比較了基于區(qū)域和基于網(wǎng)格的兩種圖像多示例生成方式,并采用一種新的圖像分割算法進行基于區(qū)域的多示例生成。圖像的多示例表示加大了圖像間相似度的計算復雜度,本文采用一種多示例核函數(shù)來度量多示例數(shù)據(jù)的相似性,在不損失其多義性表示的基礎上降低了計算復雜度。
　　 視頻標注作為圖像標注的延伸近年得到廣泛研究,大多數(shù)方法都是將視頻看作一組關鍵幀圖像的組合,從而借鑒圖像標注的理論方法來解決視頻標注的問題,也取得了不錯的效果。但是經典的圖像標

4、注方法沒有時間維度,而時間維度是視頻中很重要的信息。視頻中一個鏡頭往往是描述同一個語義,即這個鏡頭中的所有幀圖像的語義概念都是相同的,所以考慮視頻的時間維度將會大大提高視頻標注的準確度。本文同樣將視頻看作一組關鍵幀圖像的組合對視頻的自動標注進行了研究,并考慮視頻中的時間維度,提出一種基于時間一致性的核函數(shù)提高視頻標注的準確性。另外,為了提高模型的標注準確性和泛化能力,本文還探索了集成學習在圖像和視頻自動標注的應用。
　　 本文主

5、要做了一下幾個方面的研究:1)分析現(xiàn)有的基于多示例的圖像標注算法,探索比較了兩種多示例生成方法對結果的影響。2)提出一種基于MIML框架解決圖像標注的問題的方法,我們首先采用一種新的圖像分割方式提取圖像的多示例表示,并采用多示例核函數(shù)度量其相似性,然后提出一個基于多種特征的集成學習算法。3)提出一種基于時間一致性的核函數(shù),充分利用視頻中關鍵幀之間的時間一致性提高視頻標注的準確性。為了驗證算法的有效性,本文將在Core15k數(shù)據(jù)集,IAP