基于概率圖模型的圖像整體場景理解方法研究.pdf

1、場景理解作為圖像處理和計算機視覺研究領(lǐng)域中極其重要的基礎(chǔ)性任務(wù)，其研究成果已廣泛應(yīng)用于軍事無人機、航天器導(dǎo)航、網(wǎng)絡(luò)多媒體信息搜索、智能監(jiān)控、智能交通、醫(yī)療信息化等眾多軍事和民用領(lǐng)域，顯示了其重要的學(xué)術(shù)研究和應(yīng)用價值。場景理解的各子任務(wù)如圖像顯著性檢測、圖像目標檢測、圖像分割、場景分類、圖像標注等的研究工作都已取得了突破性進展。圖像整體場景理解作為其延伸，其復(fù)雜性和綜合性遠高于基本圖像理解任務(wù)，目前研究還處于起步階段。近年圍繞“整體理解”

2、的指導(dǎo)思想，學(xué)者們提出了任務(wù)集成和特征信息集成的研究思路，研究如何將這些分支任務(wù)融為一體或者綜合利用整體場景信息，以實現(xiàn)整體場景理解的最終目標，并據(jù)此提出多種整體理解解決方案。但目前已有研究成果并不完全令人滿意。因此，本文著眼于圖像顯著性檢測、場景分類、圖像分割、圖像標注以及它們之間整體集成等研究熱點和難點。通過概率圖模型建模，針對已有研究中的不足開展研究，并提出了相應(yīng)的解決方法。本文主要內(nèi)容和貢獻如下：
　　一、對圖像整體場景理

3、解的背景、研究現(xiàn)狀、主要技術(shù)難題和解決方案等進行了系統(tǒng)研究，對現(xiàn)有的典型圖像整體場景理解模型及其相應(yīng)的特征工程進行了對比分析，提出基于概率圖模型的圖像整體場景理解及其特征工程的基本框架。研究表明，圖像整體場景理解是非常有前景的研究熱點和難點之一，已取得了顯著進展，但仍然存在不少技術(shù)難題阻礙了整體場景理解模型在實際中的廣泛應(yīng)用，例如：模型集成、有效特征工程選擇、圖像整體場景認知理論地深入分析、模型與特征工程有效匹配等。本研究內(nèi)容為后續(xù)研究

4、提供理論依據(jù)和重要參考。
　　二、針對圖像顯著性檢測和分割中存在的顯著性對象邊緣和空間邏輯關(guān)系保留問題，提出了一個直接進行圖像顯著性檢測和分割的解決方案，為進一步圖像理解奠定基礎(chǔ)。具體而言，1）提出改進的基于圖切算法實現(xiàn)圖像的首次粗分割，拓寬了圖切算法的適用場合即可用于非交互式場景，并且能很好地保存顯著性對象邊緣和空間邏輯依賴關(guān)系。2）為了消除首次分割后產(chǎn)生的部分冗余區(qū)域，提出基于最近鄰圖的超像素圖分割的區(qū)域亮度比較方法：（1）首

5、先將首次分割結(jié)果再次分割成2到4個區(qū)域；（2）采用基于韋伯亮度基準的區(qū)域亮度比較方法實現(xiàn)區(qū)域比較，有效地剔除那些亮度小的非顯著性冗余區(qū)域，進一步改進整體方案的圖像顯著性檢測和分割性能。
　　三、針對圖像分類特征高維性和分類模型參數(shù)優(yōu)化問題，提出了基于特征核變換和隨機超參數(shù)優(yōu)化的圖像場景分類方法。1）基于圖像特征提取和特征維度對模型執(zhí)行性能和分類準確率的重要影響，提出基于PHOW特征提取和KPCA核變換的特征降維方法，有效地降低了特

6、征維度，同時不失準確率。2）模型參數(shù)對模型性能影響極大，為了解決模型參數(shù)優(yōu)化問題，提出對模型分類器進行隨機超參數(shù)優(yōu)化方法，實驗證明了提出方法的有效性。3）比較了經(jīng)典的兩類分類器：支撐向量機和伯努利貝葉斯分類器。實驗表明，伯努利貝葉斯分類器在分類準確率方面低于支撐向量機，但其執(zhí)行性能則明顯好于支撐向量機。
　　四、提出了基于全局上下文特征和貝葉斯主題模型的圖像整體場景理解框架，模型集成了場景分類、圖像標注和語義分割三項基本子任務(wù)。模

7、型充分利用兩方面的全局上下文信息，一是融入圖像全局上下文信息提升了圖像場景分類和圖像標注性能；二是改進超像素分割方法及其與圖像小塊的特征表達，改善了分割性能。具體而言，1）場景分類和圖像標注部分：（1）改進了特征信息的提取方法，采用本文第四章提出的PHOW特征提取方式，得到每幅圖像的語義特征信息；（2）對語義特征進行進一步學(xué)習得到全局上下文特征。2）語義分割部分：（1）改進了超像素區(qū)域的分割方法，采用 UCM方法（文獻[66]），改善了

8、分割精度和對象邊緣細節(jié)保留能力；（2）改進超像素區(qū)域和圖像小塊特征表達，融入 DSIFT、紋理濾波、RGB顏色、HOG特征、LBP特征和位置特征。實驗證明，由于全局特征信息的融入，模型整體性能在三個子任務(wù)上均得到提升。
　　五、提出了基于圖像本質(zhì)特征和CRF模型的整體場景理解模型，集成了場景分類、語義分割和對象檢測三個子任務(wù)。具體而言，1）場景分類部分：圖像整體特征信息能更好地增強場景的區(qū)分性，采用本文第四章提出的PHOW加KPC

9、A降維的方式，得到每幅圖像的特征信息。2）對象檢測部分：基于圖像的顯著性檢測和分割特性對對象檢測有重要的幫助，提出在對象檢測判別中融入本文第三章所提出的顯著性分割后所得到的圖像信息。3）語義分割部分：（1）單元分割勢能部分，我們?nèi)谌肓薍OG特征、RGB顏色直方圖特征和LBP特征，通過文獻[38]的方法得到超像素區(qū)域的單元勢能；（2）我們利用圖像的內(nèi)在流形結(jié)構(gòu)特征能更好地反映超像素分割區(qū)域之間的重要程度，有助于最終分割準確率提高的特點，提