視頻語義標(biāo)注方法和理論的研究.pdf

1、隨著多媒體和網(wǎng)絡(luò)技術(shù)的發(fā)展,面向海量視頻數(shù)據(jù)的檢索已成為一種迫切的需要。作為視頻檢索的必要基礎(chǔ),視頻索引問題的解決將為基于視頻數(shù)據(jù)庫和互聯(lián)網(wǎng)的搜索應(yīng)用提供基本的技術(shù)支持。而基于視頻內(nèi)容分析的自動視頻標(biāo)注是建立高性能視頻索引的十分有效的方法。本論文針對非特定領(lǐng)域的視頻數(shù)據(jù)集的標(biāo)注任務(wù),在一個統(tǒng)一的視頻標(biāo)注框架下,著重探討了機(jī)器學(xué)習(xí)理論在時間序列(視頻數(shù)據(jù))這個特定背景下的理論擴(kuò)展和應(yīng)用,以及結(jié)合機(jī)器學(xué)習(xí)與視頻特點的視頻語義標(biāo)注方法。研究利

2、用半監(jiān)督、主動學(xué)習(xí)以及兩者之間的結(jié)合等方法提高標(biāo)注準(zhǔn)確性,以期對非特定領(lǐng)域的視頻數(shù)據(jù)集,自動的或在盡量少的人工參與情況下,取得與完全手工標(biāo)注盡可能接近的結(jié)果,達(dá)到可實際應(yīng)用的目的。由于視頻標(biāo)注涉及到機(jī)器學(xué)習(xí)等領(lǐng)域中的許多重要的理論和應(yīng)用問題,需要從新的角度,基于新的條件對這些問題重新進(jìn)行審視,并在研究過程中不斷探索、尋求人機(jī)結(jié)合的最佳途徑,推動機(jī)器學(xué)習(xí)理論領(lǐng)域的發(fā)展。本論文的主要研究工作如下:
　　首先,由于高層語義概念與底層特征

3、間存在著“語義鴻溝“,采用傳統(tǒng)的有監(jiān)督學(xué)習(xí)方法進(jìn)行分類/標(biāo)注時需要在很大的訓(xùn)練集上建立待標(biāo)注概念的統(tǒng)計模型,從而保證所得到的分類器具有良好的推廣性能,但是建立這個訓(xùn)練集往往需要大量的人工勞動。與之相對的是,我們可以很容易的獲得大量的未標(biāo)注樣本,對未標(biāo)注樣本中的隱含信息加以挖掘可以在有限訓(xùn)練樣本集的情況下有效的提高標(biāo)注準(zhǔn)確性。因此,對于某些簡單概念,本文提出了多個基于半監(jiān)督學(xué)習(xí)的自動視頻標(biāo)注方法。通過對幾種常見的半監(jiān)督學(xué)習(xí)方法,如自訓(xùn)練、

4、互訓(xùn)練以及Co-EM等方法的分析,針對它們(主要是自訓(xùn)練和互訓(xùn)練方法)在視頻標(biāo)注應(yīng)用中的局限,在提高分類的準(zhǔn)確性和模型更新等方面做了深入研究,提出了相應(yīng)的改進(jìn)措施。與此同時,利用視頻中語義概念分布的特點,在標(biāo)注過程中結(jié)合視頻聚類分析,有效的糾正了一些孤立的錯誤分類結(jié)果。這些基于改進(jìn)的半監(jiān)督學(xué)習(xí)的自動視頻標(biāo)注方法對簡單概念取得了較好的標(biāo)注結(jié)果,同時也為后續(xù)結(jié)合半監(jiān)督和主動學(xué)習(xí)方法的半自動視頻標(biāo)注研究打下了基礎(chǔ)。
　　其次,上述自動視

5、頻標(biāo)注方法對復(fù)雜概念進(jìn)行標(biāo)注的結(jié)果仍無法令人滿意,其主要原因在于“語義鴻溝”的存在,初始訓(xùn)練集中所含的信息不足以表示該概念在視頻集中的分布。因此需進(jìn)一步考慮在學(xué)習(xí)過程中引入人機(jī)交互以達(dá)到縮小“語義鴻溝”加速學(xué)習(xí)過程收斂速度的目的。本文在對主動學(xué)習(xí)方法進(jìn)行深入研究的基礎(chǔ)上，針對其在視頻標(biāo)注應(yīng)用中所存在的限制，提出了一種基于多個互補(bǔ)分類器的主動學(xué)習(xí)進(jìn)行半自動視頻標(biāo)注的方法。在此方法中，首先利用多個互補(bǔ)分類器以互學(xué)習(xí)的方式對未標(biāo)注樣本中隱含的

6、信息進(jìn)行挖掘，而對那些難以確定的樣本則通過用戶標(biāo)注加以確定，這種作法有助于提高樣本選擇的效率。同時對獲得新標(biāo)注樣本后的模型更新方法也進(jìn)行了研究，針對GMM模型，引入了最大似然線性回歸(MLLR)的在線自適應(yīng)更新方法。
　　此外，本文還提出了一種新穎的結(jié)合支持向量機(jī)(SVM)和聚類調(diào)整的主動視頻標(biāo)注方法。由于我們的任務(wù)是對給定的視頻數(shù)據(jù)集進(jìn)行標(biāo)注，因此該方法首先對給定的視頻數(shù)據(jù)集進(jìn)行聚類分析，并利用聚類信息構(gòu)建初始訓(xùn)練集，從而保證了

7、初始分類器具有較好的準(zhǔn)確性;同時利用分類結(jié)果對聚類信息進(jìn)行調(diào)整，提高了聚類的準(zhǔn)確性。然后在主動學(xué)習(xí)過程中將聚類信息、SVM的分類間隔最大化等因素綜合為一個最優(yōu)化問題，并通過遺傳算法對該問題進(jìn)行求解。由于SVM的分類間隔與推廣性誤差上界之間存在著密切的關(guān)系，即分類間隔越大，則推廣性誤差上界越小，因此可以利用這種關(guān)系在理論上分析該主動學(xué)習(xí)方法的有效性。
　　最后，在對半監(jiān)督學(xué)習(xí)和主動學(xué)習(xí)方法研究的基礎(chǔ)上，本文進(jìn)一步探索將兩者有機(jī)結(jié)合的