版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、隨著Web2.0和社會(huì)媒體的快速發(fā)展,海量的圖像和視頻數(shù)據(jù)在互聯(lián)網(wǎng)上涌現(xiàn),這就給多媒體存儲(chǔ)、索引和檢索的相關(guān)研究帶來(lái)巨大挑戰(zhàn)。傳統(tǒng)基于內(nèi)容的圖像檢索(CBIR)技術(shù)利用圖像視覺內(nèi)容對(duì)圖像進(jìn)行索引和檢索。然而,由于底層視覺特征和高層語(yǔ)義之間的語(yǔ)義鴻溝,CBIR的性能不能令人滿意。為了解決語(yǔ)義鴻溝問(wèn)題,研究者在圖像語(yǔ)義理解進(jìn)行了大量研究。最近的研究熱點(diǎn)是統(tǒng)計(jì)和機(jī)器學(xué)習(xí)方法在圖像檢索和語(yǔ)義理解中的應(yīng)用。本文研究圖像語(yǔ)義理解的三個(gè)關(guān)鍵問(wèn)題:基于
2、上下文融合的圖像語(yǔ)義理解、異構(gòu)視覺特征選擇、以及圖像自動(dòng)標(biāo)注。在以上三個(gè)關(guān)鍵問(wèn)題研究的基礎(chǔ)上,本文提出了基于圖模型表達(dá)和稀疏特征選擇的圖像語(yǔ)義理解框架。
為了有效利用互聯(lián)網(wǎng)圖像所具有的豐富上下文屬性,對(duì)Web圖像檢索結(jié)果按照語(yǔ)義主題進(jìn)行歸類,本文在圖像與其伴隨文本中定義了“單詞可見度(visibility)”這種新的異構(gòu)關(guān)聯(lián),并將其與從圖像伴隨文本中提取的同構(gòu)關(guān)聯(lián)結(jié)合,在復(fù)雜圖和二部圖上進(jìn)行聚類分析。具體而言,本文在聚類過(guò)
3、程中考慮了Web圖像的兩種關(guān)聯(lián)屬性:伴隨文本單詞與圖像之間的異構(gòu)關(guān)聯(lián)以及伴隨文本單詞之間的同構(gòu)關(guān)聯(lián)。這一方法不僅能夠反映單詞與圖像之間語(yǔ)義關(guān)聯(lián),而且所定義的單詞可見度充分利用了圖像的伴隨文本這一上下文屬性。在此基礎(chǔ)上,本文應(yīng)用復(fù)雜圖聚類和二部圖協(xié)同譜聚類等算法驗(yàn)證了在圖模型中引入兩種上下文關(guān)聯(lián)進(jìn)行圖像聚類的有效性,達(dá)到了改進(jìn)Web圖像聚類性能的目的。
視頻關(guān)鍵幀圖像的語(yǔ)義理解需要有效利用視頻鏡頭中的上下文多模態(tài)信息(如轉(zhuǎn)錄
4、文本、視覺特征和多標(biāo)簽標(biāo)注信息等)。為了對(duì)各種模態(tài)下多個(gè)視頻鏡頭之間的高階關(guān)聯(lián)進(jìn)行表達(dá),本文引入超圖來(lái)表達(dá)數(shù)據(jù)間存在的高階復(fù)雜關(guān)系。具體而言,各種模態(tài)下多個(gè)視頻鏡頭之間的高階關(guān)聯(lián)用超圖的超邊進(jìn)行表達(dá),則視頻鏡頭的多模態(tài)特征可表示為多個(gè)超圖模型。通過(guò)在多個(gè)超圖上定義Markov隨機(jī)游走模型,本文提出多超圖排序(MHR)算法對(duì)無(wú)標(biāo)記視頻鏡頭的語(yǔ)義概念進(jìn)行預(yù)測(cè),該方法充分利用了視頻鏡頭的上下文多模態(tài)信息和高階關(guān)聯(lián)。在TRECVID數(shù)據(jù)集上的實(shí)
5、驗(yàn)表明了基于MHR進(jìn)行多模態(tài)融合的視頻語(yǔ)義概念檢測(cè)的有效性。
由于本質(zhì)上的視覺多義性,圖像和視頻往往被標(biāo)注多個(gè)語(yǔ)義標(biāo)簽。發(fā)現(xiàn)并利用多標(biāo)簽之間的關(guān)聯(lián)關(guān)系將能提升多標(biāo)簽語(yǔ)義理解的性能。相關(guān)研究表明通過(guò)子空間學(xué)習(xí)將多標(biāo)簽關(guān)聯(lián)嵌入子空間,可使得有共同多標(biāo)簽標(biāo)注的數(shù)據(jù)樣本在所嵌入的子空間中距離相近。本文提出稀疏多標(biāo)簽遷移學(xué)習(xí)(S-MLTL)框架進(jìn)行圖像自動(dòng)標(biāo)注和視頻語(yǔ)義概念檢測(cè)。其基本思想是在相關(guān)數(shù)據(jù)集上學(xué)習(xí)得到稀疏多標(biāo)簽嵌入的子空
6、間,通過(guò)將目標(biāo)數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)嵌入該子空間實(shí)現(xiàn)多標(biāo)簽關(guān)聯(lián)信息的遷移,從而在目標(biāo)數(shù)據(jù)集上取得更好的語(yǔ)義理解性能。在S-MLTL框架中,對(duì)脊回歸、lasso和elastic net等模型在圖像自動(dòng)標(biāo)注和視頻語(yǔ)義概念檢測(cè)中的應(yīng)用進(jìn)行了分析和比較。
圖像中可提取多種局部和全局異構(gòu)視覺特征(如顏色、紋理和形狀等)。這些不同異構(gòu)視覺特征對(duì)識(shí)別不同語(yǔ)義概念的重要性不同。與傳統(tǒng)降維和流形學(xué)習(xí)方法不同,本文提出了反映結(jié)構(gòu)性組效應(yīng)的
7、稀疏特征選擇機(jī)制。這一方法以異構(gòu)視覺特征為特征組,對(duì)特定語(yǔ)義標(biāo)簽選擇最具區(qū)別性的特征組和組內(nèi)的特征子集,以提升圖像語(yǔ)義理解的性能,并且這種結(jié)構(gòu)化特征選擇將得到圖像語(yǔ)義理解的可解釋模型。因此,本文提出結(jié)構(gòu)性組稀疏的回歸模型進(jìn)行異構(gòu)視覺特征選擇。為了利用多標(biāo)簽之間的關(guān)聯(lián)關(guān)系,提出多標(biāo)簽提升算法并與結(jié)構(gòu)化視覺特征選擇模型有效集成。因此,本文提出對(duì)圖像異構(gòu)視覺特征進(jìn)行結(jié)構(gòu)性組稀疏特征選擇的多標(biāo)簽性能提升框架MtBGS。在開放基準(zhǔn)圖像數(shù)據(jù)集上的實(shí)
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 結(jié)構(gòu)化語(yǔ)義描述和特征選擇在圖像語(yǔ)義理解中的研究與應(yīng)用.pdf
- 基于語(yǔ)義和語(yǔ)法關(guān)系的特征表達(dá)用于圖像理解.pdf
- 基于語(yǔ)義理解的圖像檢索研究.pdf
- 多模態(tài)特征融合和變量選擇的視頻語(yǔ)義理解.pdf
- 基于深度學(xué)習(xí)的圖像語(yǔ)義理解和分類研究.pdf
- 基于深度學(xué)習(xí)的圖像語(yǔ)義理解研究.pdf
- 基于CRF的圖像語(yǔ)義理解算法研究.pdf
- 基于意象圖式的語(yǔ)義理解模型研究.pdf
- 社交多媒體數(shù)據(jù)語(yǔ)義理解和關(guān)聯(lián)表達(dá).pdf
- 社會(huì)化媒體中的圖像語(yǔ)義理解.pdf
- 圖像語(yǔ)義理解的關(guān)鍵技術(shù)研究.pdf
- 基于語(yǔ)義理解和動(dòng)態(tài)網(wǎng)頁(yè)的主題爬行研究.pdf
- 基于語(yǔ)義理解的論文相似度研究.pdf
- 基于語(yǔ)義理解的稅務(wù)稽查輔助系統(tǒng).pdf
- 基于稀疏優(yōu)化的磁共振圖像特征選擇方法研究.pdf
- 基于稀疏表示和特征選擇的目標(biāo)跟蹤.pdf
- 路面車輛運(yùn)動(dòng)的語(yǔ)義理解.pdf
- 基于語(yǔ)義理解的觀點(diǎn)評(píng)論挖掘研究.pdf
- 基于語(yǔ)義理解的語(yǔ)音控制技術(shù)研究.pdf
- 基于多層語(yǔ)義理解的流媒體調(diào)度算法研究.pdf
評(píng)論
0/150
提交評(píng)論