基于多特征學(xué)習(xí)的視頻語義標(biāo)注.pdf

1、基于多特征學(xué)習(xí)的視頻語義標(biāo)注Videoannotationwithmultiplefeaturedistancelearning李真超指導(dǎo)小組成員名單導(dǎo)師周向東教授指導(dǎo)小組成員張亮教授談子敬副教授張守志副教授基于多特征學(xué)習(xí)的視頻語義標(biāo)注摘要摘要自從計(jì)算機(jī)誕生以來我們就不斷試圖讓計(jì)算機(jī)理解人類所觀察到的事物。從數(shù)值計(jì)算，符號計(jì)算開始，人們不斷推進(jìn)計(jì)算機(jī)的”理解能力”。文字，圖像，視頻等多媒體內(nèi)容的理解牽涉到高層的語義，計(jì)算機(jī)能否對這些內(nèi)容

2、給出對應(yīng)的語義標(biāo)簽是讓計(jì)算機(jī)對這些對象有認(rèn)知的第一步。通常我們對視頻進(jìn)行語義標(biāo)注都需要將標(biāo)簽限定在一個范圍中，這是因?yàn)橥ㄓ玫膶λ幸曨l的標(biāo)注系統(tǒng)難以避免語義鴻溝。在給定的標(biāo)簽范圍內(nèi)，我們對視頻數(shù)據(jù)進(jìn)行分類。這使得我們的目標(biāo)變得可行。視頻的特點(diǎn)是它具有多種特征，包括音頻，靜態(tài)圖像，文字以及動作特征。通過實(shí)驗(yàn)我們發(fā)現(xiàn)，動作特征對于區(qū)分以動作為語義的視頻是有效的。以往的視頻標(biāo)注系統(tǒng)對于如何使用如此多的特征種類對視頻進(jìn)行分類性能的提高并沒有很好

3、的考慮。我們認(rèn)為多種特征的融合有利于發(fā)揮各種特征的區(qū)分能力，對不同的視頻類別，不同的特征的描述能力也是有強(qiáng)弱之分的。我們使用核化的logistic回歸作為框架，對從視頻數(shù)據(jù)提取的多種特征用多距離學(xué)習(xí)的方法，學(xué)習(xí)出每一個視頻類別的特征權(quán)重系數(shù)。為了達(dá)到特征選取的目的，我們引入權(quán)重系數(shù)的一階范數(shù)懲罰。這使得無關(guān)的視頻特征的權(quán)重降低為0。為了防止模型過擬合，我們還對logistic回歸的參數(shù)進(jìn)行了二階范數(shù)的懲罰。由于目標(biāo)函數(shù)相對于這兩組參數(shù)不