基于機(jī)器學(xué)習(xí)方法的視頻標(biāo)注研究.pdf

1、隨著存儲(chǔ)設(shè)備、計(jì)算機(jī)網(wǎng)絡(luò)和壓縮技術(shù)的發(fā)展，產(chǎn)生了大量的視頻數(shù)據(jù)，如何有效地處理和訪問這些數(shù)據(jù)，成為一個(gè)迫切需要解決的問題。視頻語義標(biāo)注可以根據(jù)視頻所體現(xiàn)的內(nèi)容按概念對(duì)其賊予標(biāo)號(hào)，在此基礎(chǔ)上可以實(shí)現(xiàn)高效的視頻數(shù)據(jù)處理(如索引、檢索和縮略等)。 完全使用人工來實(shí)現(xiàn)視頻標(biāo)注任務(wù)，無疑可以獲得相當(dāng)精確的結(jié)果。然而手工標(biāo)注是一項(xiàng)費(fèi)時(shí)費(fèi)力的工作，無法在大規(guī)模的數(shù)據(jù)集和概念集上應(yīng)用。因此，使用機(jī)器學(xué)習(xí)方法來實(shí)現(xiàn)這一任務(wù)成了必然的選擇。本文主要

2、針對(duì)基于機(jī)器學(xué)習(xí)的視頻標(biāo)注展開研究，提出了一系列方法，以期能夠?qū)Ψ翘囟I(lǐng)域數(shù)據(jù)集和概念集，自動(dòng)地或在盡量少的人工參與情況下，取得與完全手工標(biāo)注盡可能接近的結(jié)果，達(dá)到可實(shí)際應(yīng)用的目的。本論文的主要研究工作如下： 1. 在傳統(tǒng)的核密度估計(jì)方法中引入未標(biāo)注數(shù)據(jù)的信息，提出了半監(jiān)督核密度估計(jì)以及半監(jiān)督自適應(yīng)核密度估計(jì)，以解決視頻標(biāo)注中訓(xùn)練數(shù)據(jù)不足的問題。傳統(tǒng)的核概率密度估計(jì)方法形式簡單，便于使用，但是其性能非常依賴于訓(xùn)練樣本的數(shù)目，當(dāng)訓(xùn)

3、練樣本很少時(shí)，會(huì)導(dǎo)致其性能降低。而在視頻標(biāo)注中，訓(xùn)練數(shù)據(jù)不足是經(jīng)常遇到的問題。通過引入未標(biāo)注數(shù)據(jù)，可解決這個(gè)問題，改善核概率密度估計(jì)方法的性能。另外，本文還分析了所提算法和基于圖的半監(jiān)督學(xué)習(xí)之間的關(guān)系。 2. 我們提出了一種統(tǒng)一自動(dòng)視頻標(biāo)注方法。除了訓(xùn)練數(shù)據(jù)不足的問題，視頻標(biāo)注中還存在著一系列其它的問題，包括維數(shù)災(zāi)難、距離度量的選擇和時(shí)間連續(xù)性的挖掘。本文通過分析，指出這些問題都可以歸結(jié)為樣本的相似性度量問題或者半監(jiān)督學(xué)習(xí)問題，

4、因此這四個(gè)問題的應(yīng)對(duì)可以描述為一個(gè)多圖半監(jiān)督學(xué)習(xí)的問題。本文提出一種名為最優(yōu)多圖半監(jiān)督學(xué)習(xí)方法，將多張圖集成到一個(gè)正則化框架中，并且可同時(shí)優(yōu)化這些網(wǎng)的加權(quán)系數(shù)。 3. 研究基于多概念多模態(tài)主動(dòng)學(xué)習(xí)的半自動(dòng)視頻標(biāo)注。主動(dòng)學(xué)習(xí)是一種人機(jī)結(jié)合的學(xué)習(xí)途徑，其通過學(xué)習(xí)和樣本選擇的迭代進(jìn)行，可選出比隨機(jī)挑選方法更為有效的訓(xùn)練集。因此使用主動(dòng)學(xué)習(xí)米進(jìn)行半自動(dòng)視頻標(biāo)注，是解決訓(xùn)練數(shù)據(jù)不足的一種新途徑。然而已有的主動(dòng)學(xué)習(xí)算法大多沒有考慮視頻標(biāo)注中

5、的多概念和多模態(tài)的特點(diǎn)，本文針對(duì)這一問題提出了多概念多模態(tài)主動(dòng)學(xué)習(xí)算法，可同時(shí)考慮這兩個(gè)問題。在主動(dòng)學(xué)習(xí)的每一輪中，具有最大期望性能增益的概念被選擇，并且選取一批合適的樣本來對(duì)該概念進(jìn)行標(biāo)注。在選取樣本的過程中，從每個(gè)模態(tài)選取的樣本數(shù)被限定為與該模態(tài)的期望性能增益成正比。之后，對(duì)每個(gè)模態(tài)使用基于圖的半監(jiān)督學(xué)習(xí)算法來標(biāo)注該概念。通過這種途徑，可充分挖掘人工標(biāo)注的勞動(dòng)，在盡可能少人工參與的情況下獲得更好的標(biāo)注結(jié)果。 4.研究對(duì)視頻鏡頭大小的

6、標(biāo)注。日前視頻標(biāo)注中的待標(biāo)注概念人多集中于場(chǎng)景、事件和物體等，而忽略了鏡頭大小這種特殊的概念。與一般的概念不同，視頻鏡頭大小概念有其自身的特點(diǎn)，例如其瓦斥而又具有一定的順序關(guān)系。此外，對(duì)于視頻鏡頭大小的標(biāo)注僅采用常用的底層特征很難取得好的效果，而這些概念與一些中層特征，例如視頻幀中物體的數(shù)月以及大小等，有較強(qiáng)的聯(lián)系。因此，本文介紹了一種基于底層特征和中層特征互訓(xùn)練的方法來標(biāo)注視頻鏡頭大小，此外，針對(duì)三種鏡頭大小概念之間的關(guān)系，引入代價(jià)函