圖像語義分割算法研究.pdf

1、互聯(lián)網(wǎng)的普及和多媒體技術(shù)的飛速發(fā)展，造就了以圖像為代表的多媒體信息呈現(xiàn)爆炸式的增長。海量的數(shù)據(jù)帶來了存儲(chǔ)、檢索、管理等多方面的挑戰(zhàn)?，F(xiàn)行主要搜索引擎均是基于把圖像數(shù)據(jù)的文本描述，缺乏準(zhǔn)確性，不僅如此，在大規(guī)模網(wǎng)絡(luò)圖像的背景下，大量多媒體數(shù)據(jù)缺乏文本描述。因此如何自動(dòng)對(duì)海量圖像數(shù)據(jù)進(jìn)行有效的組織和管理，以及如何對(duì)于每幅圖像產(chǎn)生有效的結(jié)構(gòu)化描述信息就成為了亟待解決的問題。
　　在本文中，我們研究大規(guī)模圖像檢索和理解中的兩個(gè)重要任務(wù):圖

2、像自動(dòng)標(biāo)注和圖像語義分割;深入理解其中存在的問題并提出了全新的解決方案。
　　圖像自動(dòng)標(biāo)注方法使用人工標(biāo)注的圖像對(duì)計(jì)算機(jī)進(jìn)行訓(xùn)練，主要目的是使得計(jì)算機(jī)能夠自動(dòng)對(duì)沒有標(biāo)注的圖像添加語義標(biāo)簽，列出其中存在的語義類別。傳統(tǒng)的基于內(nèi)容的圖像檢索系統(tǒng)需要實(shí)時(shí)根據(jù)圖像內(nèi)容提取的特征來計(jì)算兩幅圖像的相似程度，相比而言，僅基于文本的語義標(biāo)簽檢索復(fù)雜度則低得多。網(wǎng)絡(luò)圖像的激增極大地豐富了人工標(biāo)注圖像的數(shù)量，因此自動(dòng)圖像標(biāo)注的研究對(duì)于當(dāng)前環(huán)境下大規(guī)模

3、圖像檢索和理解有著非常重要的應(yīng)用意義。
　　然而自動(dòng)圖像標(biāo)注模型主要基于圖像層面的特征和標(biāo)簽，其局限性在于無法提供每個(gè)標(biāo)簽的位置，造成了不準(zhǔn)確的結(jié)果。近年來，以獲得每個(gè)區(qū)域乃至于像素的語義類別為目標(biāo)的語義分割引起了全新的研究熱潮。
　　為了更全面地學(xué)習(xí)圖像及其區(qū)域中的語義，本文提出了一個(gè)基于多圖學(xué)習(xí)和塊對(duì)角化約束的全監(jiān)督語義分割方法。由于每種特征均從一個(gè)或者多個(gè)角度對(duì)圖像進(jìn)行描述，很難確定對(duì)于每個(gè)語義類別時(shí)，哪種特征是更為有

4、效的。本文提出的全監(jiān)督語義分割方法首先通過塊對(duì)角化約束各個(gè)特征關(guān)系矩陣，隨后建立各個(gè)特征下超像素之間的相似度和其語義相似度的一致性，進(jìn)而學(xué)習(xí)超像素之間的多角度相似度。我們將上述過程定義為凸優(yōu)化問題并提出了高效的解決方案。最終的超像素標(biāo)簽預(yù)測(cè)通過學(xué)習(xí)得到的多角度相似度關(guān)系圖確定。
　　傳統(tǒng)方法依賴于對(duì)每一個(gè)像素精確標(biāo)注的圖像來進(jìn)行模型的訓(xùn)練，資源十分有限。相比之下，如果嘗試只利用圖像層面的標(biāo)簽來訓(xùn)練語義分割模型，則監(jiān)督信息大大弱化，

5、這類問題被稱為弱監(jiān)督的語義分割問題。擁有充分的有標(biāo)簽圖像作為資源的同時(shí)，該類問題的困難也是十分明顯的:沒有準(zhǔn)確的區(qū)域語義信息，使用圖像的標(biāo)簽很難訓(xùn)練區(qū)域的分類器。
　　不同于已有的弱監(jiān)督語義分割方法嘗試用不準(zhǔn)確的信息訓(xùn)練分類器，我們提出了一種全新的基于高維特征子空間分布的分類器評(píng)估方法來解決該問題。對(duì)于每個(gè)語義類別，我們隨機(jī)采樣產(chǎn)生若干個(gè)候選分類器，并利用稀疏重構(gòu)的方法獲得每個(gè)分類器對(duì)應(yīng)子空間的基。利用該組基重構(gòu)該類別的正負(fù)樣本，

6、將二者之間的差異作為評(píng)估準(zhǔn)則，最終選出較優(yōu)的分類器對(duì)測(cè)試集合進(jìn)行分類。為了提升方法的效率，避免隨機(jī)采樣在高維空間產(chǎn)生的高昂代價(jià)，我們還提出了一個(gè)基于高斯混合模型的迭代合并更新算法來擬合參數(shù)及其對(duì)應(yīng)得分的條件分布以確定最優(yōu)分類器的可能區(qū)域。
　　本文提出的全監(jiān)督與弱監(jiān)督語義分割方法分別在當(dāng)前研究領(lǐng)域的主流數(shù)據(jù)集上進(jìn)行了運(yùn)行和測(cè)試，均取得了較好的效果。尤其值得一提的是，即使在弱監(jiān)督環(huán)境下，本文所提出的方法的分類精度依然超過了一些全監(jiān)督