圖像語義理解的關(guān)鍵技術(shù)研究.pdf

1、人類視覺系統(tǒng)感知和識別圖像的過程是一個從形象到抽象的過程，而且在該過程中加入了豐富的先驗知識作為指導(dǎo)。與此對應(yīng)地，圖像理解研究可以分成底層、中層和高層三個層次。針對圖像理解的三個層次中面臨的主要技術(shù)挑戰(zhàn)，本文重點研究三個關(guān)鍵技術(shù)：圖像視覺特征的有效表述、圖像多區(qū)域的合理分割、以及圖像語義標(biāo)注中上下文信息的擴(kuò)大化。在每個關(guān)鍵技術(shù)的研究中，本文分別提出了新的數(shù)學(xué)模型與表達(dá)形式，設(shè)計了新的算法并得以應(yīng)用。具體而言，本文的研究內(nèi)容歸納如下：

2、r>　　（1）針對視覺特征的有效表述問題，利用模糊邏輯推理的原理與結(jié)構(gòu)提取顏色視覺特征，提出一種結(jié)合視覺感知的空間模糊鏈接顏色直方圖（SpatialFuzzy Linking Histogram，SFLCH）。SFLCH考慮了不同種顏色特征之間的相似性和同種顏色特征之間的差異性，并記錄了圖像不同區(qū)域內(nèi)像素的顏色分布信息，具有較好的圖像內(nèi)容表述能力，以及操作簡單、容易實現(xiàn)等優(yōu)點。此外，還定義了“顏色復(fù)雜度”概念來描述圖像局部區(qū)域內(nèi)像素顏色

3、的變化程度，將人類視覺感知作用融入到計算機(jī)對圖像的分類與識別的過程中，構(gòu)造了基于顏色復(fù)雜度的加權(quán)相似度測量機(jī)制，進(jìn)一步提高了視覺特征的表述能力，取得了良好的圖像分類效果。
　?。?）針對使用FCM算法進(jìn)行圖像分割時存在對初始條件和噪聲敏感的問題，提出了一種基于區(qū)域顯著色初始策略的聚類分割算法。利用彩色圖像的顏色信息作為確定聚類初始條件的依據(jù)，通過相鄰像素顏色差異度的約束，限制了噪聲對判定顯著色的干擾，增強(qiáng)了該方法的準(zhǔn)確性，克服了F

4、CM算法對聚類初始條件和噪聲的敏感性。通過在簡單的顏色數(shù)據(jù)集合中尋找顯著色的實驗，結(jié)果表明區(qū)域顯著色初始策略確定的區(qū)域代表顏色與實際視覺效果一致，初始聚類中心分別包含在各個區(qū)域內(nèi)，具有較好的代表性。并且定義了模糊因子，將像素的鄰域空間關(guān)系融入到聚類過程中，由于模糊因子是一個隨著像素空間位置的不同而發(fā)生變化的變量，使得空間信息的融合方式具有自適應(yīng)性，提高了算法的魯棒性，獲得了較高的分割精度。
　?。?）為了進(jìn)一步提高分割區(qū)域的穩(wěn)定性

5、，并實現(xiàn)圖像的自動分割，提出了一種無監(jiān)督圖割算法。通過圖像數(shù)據(jù)向高維特征空間的映射，擴(kuò)展了分段常數(shù)模型的實際使用范圍，實現(xiàn)了復(fù)雜圖像數(shù)據(jù)的線性可分，不僅提高了圖像區(qū)域的分割效果，還降低了計算量。同時，在平滑項中增加了邊緣梯度信息，提高了邊緣的劃分精度，減少了過分割的出現(xiàn)，并且采用多標(biāo)簽交換算法，通過迭代逼近能量函數(shù)最小值的方法，解決了包含多類標(biāo)簽的能量函數(shù)優(yōu)化問題，得到圖像所有像素的區(qū)域標(biāo)簽的最優(yōu)分配結(jié)果。這種圖像分割方法具有較好的多區(qū)

6、域分割效果，符合人類視覺感知圖像的要求，并且無需預(yù)先設(shè)定區(qū)域標(biāo)簽類別的種子點像素，實現(xiàn)了計算機(jī)對圖像進(jìn)行多區(qū)域的自動分割，取得了以語義理解為前提的圖像多區(qū)域分割的理想效果。
　?。?）針對單獨標(biāo)注像素會引起語義標(biāo)注結(jié)果不一致的問題，充分利用像素之間存在的上下文信息，提出了一種融合多粒度上下文的條件隨機(jī)場模型（Multi-granular Context Conditional Random Field，MGCCRF）。通過構(gòu)造多粒

7、度鄰域集合，獲得了不同粒度的上下文窗口，為像素標(biāo)注提供不同尺度的上下文信息。在像素級圖像語義標(biāo)注的過程中，細(xì)粒度上下文信息通過描述近距離的鄰域位置之間的局部相互作用，用來保持目標(biāo)的精確邊界，生成連續(xù)的目標(biāo)表面；而粗粒度上下文信息則用來描述語義類別之間的空間共生關(guān)系，目的是提高圖像中目標(biāo)的識別率。該語義標(biāo)注模型既表征了語義標(biāo)簽在局部區(qū)域內(nèi)具有的傳遞特性，同時還融入了圖像中蘊含的語義類別的共生關(guān)系，使得標(biāo)注模型融合了豐富的圖像信息，具有較高

8、的圖像標(biāo)注精確度。在模型訓(xùn)練過程中采用分支定界參數(shù)優(yōu)化算法與并行式分段相結(jié)合的訓(xùn)練方法，提高了模型的訓(xùn)練效率。
　　本文的創(chuàng)新性成果總結(jié)如下：
　?。?）提出了SFLCH，將顏色特征的模糊表征與空間分布信息相結(jié)合，并構(gòu)建了基于顏色復(fù)雜度的相似度量機(jī)制，提高了視覺特征的表述能力。
　　（2）提出了基于區(qū)域顯著色初始策略的空間FCM算法，改進(jìn)了聚類分割算法的初始化操作，算法抑制了噪聲對判定顯著色的干擾，融入了具有自適應(yīng)性的

9、空間信息，提高了圖像分割的準(zhǔn)確率。
　?。?）提出了無監(jiān)督圖割方法，該方法采用核函數(shù)對數(shù)據(jù)項進(jìn)行隱性的非線性映射，在平滑項中融入了邊緣梯度約束，既提高了復(fù)雜區(qū)域的分割效果，又減少了過分割現(xiàn)象。同時，采用無監(jiān)督方法設(shè)置初始參數(shù)，避免了交互操作，實現(xiàn)了圖像的自動分割。
　　（4）提出了 MGCCRF，利用粒計算的粒化思想，擴(kuò)大了像素標(biāo)注模型中的上下文信息獲取范圍，提高了像素標(biāo)注的準(zhǔn)確率和目標(biāo)識別率。這一方法已申報國家發(fā)明專利“融