融合標注詞相關(guān)性信息的圖像語義標注研究.pdf

1、隨著高分辨率數(shù)碼設備和海量存儲系統(tǒng)的普及以及網(wǎng)絡傳輸帶寬的增加,圖像數(shù)據(jù)正以指數(shù)級的速度增長。如何有效管理如此大規(guī)模的海量圖像數(shù)據(jù)庫,以便用戶可以快速而有效地找到他們感興趣的圖片是一項極具挑戰(zhàn)的任務。由于語義鴻溝的存在,傳統(tǒng)的基于內(nèi)容的圖像檢索技術(shù)(Content-basedImageRetrieval,CBIR)往往不能很好地滿足圖像語義檢索的要求,同時普通用戶也無法將自己的檢索需求以CBIR系統(tǒng)中底層視覺特征的形式表達出來。為了實現(xiàn)

2、有效的圖像語義檢索,同時提供用戶友好的文本檢索接口,對圖像進行人工標注是一種可行的方法。然而,由于人工標注過程費時費力而且極易出錯,面對海量圖像數(shù)據(jù),完全地人工標注無法成為現(xiàn)實。人們迫切需要一種可以自動或者半自動對圖像進行語義標注的方法。因此,圖像語義標注(ImageSemanticAnnotation)具有十分重要的理論與實踐意義,引起了學術(shù)界和工業(yè)界的高度關(guān)注。
　　 傳統(tǒng)的基于內(nèi)容的圖像語義標注模型往往僅僅依靠圖像本身的視

3、覺內(nèi)容來完成標注任務,而忽略了標注過程中標注詞之間的相關(guān)性信息,其標注性能仍有待進一步提高。此外,隨著Web2.0時代的到來,越來越多的Web圖片被用戶用語義標簽進行在線標注,這些大量標注過的圖片同時也為開發(fā)新的自動標注工具提供了新的機遇。
　　 本文圍繞圖像語義標注和在線標注的特點,集中利用標注詞之間的相關(guān)性信息,對如何將標注詞相關(guān)性信息整合到標注過程中、如何實現(xiàn)內(nèi)容無關(guān)的標注詞推薦以及如何更有效地利用用戶標注詞和圖像視覺內(nèi)容

4、為圖像語義標注服務三方面展開研究,提出了三種不同的圖像語義標注方法,如下所示:
　　 ·提出基于語義概念上下文的漸進式圖像自動標注方法:同時利用語義概念的上下文信息和圖像的視覺信息來對圖片進行自動語義標注。在這個漸進式的標注框架中,標注以增量式的方式一個接著一個地加入到圖片的標注詞集合中,每一次標注詞的選擇不僅僅取決于當前給定圖像的視覺信息,還取決于以前已經(jīng)加入到標注詞列表中的已有標注詞。換句話說,標注詞的選取是利用圖像視覺內(nèi)容

5、,并基于改圖片已有的標注詞集合這個上下文信息的,實現(xiàn)了以較小的計算代價將標注詞之間的上下文信息融入到基于內(nèi)容的標注系統(tǒng)中的目的。
　　 ·提出基于協(xié)同過濾的標注詞推薦方法:將協(xié)同過濾(CollaborativeFiltering)技術(shù)應用于標注詞推薦。協(xié)同標注詞推薦(CollaborativeTagRecommendation,CTR)方法是不依賴于圖像視覺信息的標注詞推薦方法,僅僅利用圖像當前已有的少量用戶標注來實現(xiàn)為圖像推薦

6、更多的相關(guān)標注詞的功能。協(xié)同過濾技術(shù)被用來發(fā)掘標注詞之間的關(guān)聯(lián)模式,并利用這種關(guān)聯(lián)信息產(chǎn)生標注詞推薦列表。
　　 ·提出基于內(nèi)容和標注詞輔助信息的圖像標注方法:把圖像語義標注看作是一個標注詞推薦問題,將圖片已有的少量用戶標注詞和圖像的視覺內(nèi)容通過一個概率模型HPM(HybridProbabilisticModel)融合在一起,從而實現(xiàn)圖像的語義標注功能。對于沒有用戶標注詞的圖像,HPM僅僅根據(jù)圖像的視覺內(nèi)容信息預測標注詞。對于具