足球比賽視頻中的多運(yùn)動(dòng)員的行為識(shí)別方法研究.pdf

1、足球比賽視頻中的運(yùn)動(dòng)員行為是一種有計(jì)劃、高協(xié)同性的多運(yùn)動(dòng)員團(tuán)隊(duì)行為。團(tuán)隊(duì)行為的理解和識(shí)別是計(jì)算機(jī)視覺研究領(lǐng)域的重要研究問題之一,有許多方面的應(yīng)用,如視頻監(jiān)控、對(duì)象視頻摘要、人機(jī)交互、體育視頻分析、運(yùn)動(dòng)員輔助訓(xùn)練、比賽輔助判罰和視頻檢索瀏覽等。因此,開展足球比賽視頻中的多運(yùn)動(dòng)員行為識(shí)別研究具有極大的經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值。
　　 足球比賽視頻中的行為識(shí)別涉及特征提取、目標(biāo)跟蹤與檢測(cè)、行為表示、分類器的構(gòu)建及行為識(shí)別等具體研究?jī)?nèi)容,需要

2、使用運(yùn)動(dòng)目標(biāo)的檢測(cè)、分割、跟蹤識(shí)別、語義表示與推理等技術(shù),涉及到模式識(shí)別、圖像處理、圖形學(xué)、計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)和人工智能等學(xué)科,是一個(gè)具有挑戰(zhàn)性的、跨學(xué)科的研究方向。
　　 本文在全面綜述足球比賽視頻中的多運(yùn)動(dòng)員行為識(shí)別研究現(xiàn)狀的基礎(chǔ)上,提出用模糊推理系統(tǒng)來融合多特征進(jìn)行足球比賽視頻中的行為識(shí)別。針對(duì)當(dāng)前多運(yùn)動(dòng)員行為識(shí)別的研究過程中存在的不足展開研究,主要研究成果歸納如下:
　　 (1)在視頻圖像預(yù)處理過程中提出了基于

3、多元統(tǒng)計(jì)模型的分形小波自適應(yīng)圖像去噪算法和基于正交小波分析和偽彩色處理的足球比賽視頻圖像增強(qiáng)算法:在視頻圖像去噪過程中,通過結(jié)合多元統(tǒng)計(jì)模型與分形小波去噪方法,能夠更準(zhǔn)確地估計(jì)各種相關(guān)信息,選擇高品質(zhì)的圖像空間。在適度的噪聲方差下根據(jù)拼貼距離在最好的子樹域中找到近優(yōu)父子樹。從而預(yù)測(cè)出無噪聲的圖像分形小波編碼,達(dá)到優(yōu)化去噪的目的?；诙嘣y(tǒng)計(jì)模型的分形小波自適應(yīng)圖像去噪算法在去除噪聲的同時(shí),能有效地保持圖像的邊緣及紋理特征,很好地保留圖像

4、的精細(xì)結(jié)構(gòu),取得了良好的去噪效果。由于采用了預(yù)測(cè)小波分形編碼,優(yōu)化了算法結(jié)構(gòu),算法的處理速度比較快?；谡恍〔ǚ治龊蛡尾噬幚淼淖闱虮荣愐曨l圖像增強(qiáng)算法既可克服采用正交小波分析足球比賽視頻圖像增強(qiáng)算法處理后的圖像偏亮及對(duì)比度較差等缺陷,又可克服偽彩色處理的足球比賽視頻圖像增強(qiáng)算法不能夠充分處理圖像中某些細(xì)節(jié)信息的缺陷。
　　 (2)提出用自動(dòng)生成RBF網(wǎng)絡(luò)來融合多特征:為了克服光照、遮擋、尺度變化等影響,滿足實(shí)時(shí)性識(shí)別的要求,

5、提出用自動(dòng)生成RBF網(wǎng)絡(luò)融合足球比賽視頻中的多運(yùn)動(dòng)員行為識(shí)別過程中提取的球員的服裝顏色矩特征、球員和裁判的輪廓特征、球場(chǎng)線的坐標(biāo)參數(shù)特征及運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡特征。定義一個(gè)動(dòng)態(tài)特征模型,首先提取有關(guān)足球比賽視頻中的多運(yùn)動(dòng)員行為的主要特征,當(dāng)這些特征不足以完成識(shí)別與理解時(shí),系統(tǒng)逐步提取候選的細(xì)節(jié)特征。同時(shí)通過采用3D局部方向直方圖特征,能有效解決遮擋和姿態(tài)變化的多樣性,使足球比賽視頻中的多運(yùn)動(dòng)員行為識(shí)別與理解具有更強(qiáng)的魯棒性。
　　

6、 (3)提出了足球比賽視頻中的團(tuán)體行為模式的時(shí)空驅(qū)動(dòng)力模型和模糊推理系統(tǒng):利用由時(shí)空限制的軌跡、變化的人數(shù)和行為之間的時(shí)空變化的集合組成的行為特征為足球比賽視頻中的團(tuán)體行為進(jìn)行建模。將足球比賽視頻中的團(tuán)體行為作為一個(gè)區(qū)域密集分布的時(shí)空驅(qū)動(dòng)力的動(dòng)態(tài)過程,用簡(jiǎn)單的離散軌跡點(diǎn)集來取代運(yùn)動(dòng)的發(fā)生。通過將F(tn,x,y)的Lie群非線性流形空間轉(zhuǎn)化為f(tn,x,y)的Lie代數(shù)的線性空間來大大簡(jiǎn)化模型的計(jì)算量。模型充分利用了從運(yùn)動(dòng)軌跡中獲得的

7、位置和速度等低層次特征,模型的學(xué)習(xí)簡(jiǎn)單。模型的特征融合能力比較強(qiáng),與其它模型比較性能優(yōu)越。模型在建模復(fù)雜行為模式方面具有通用性和靈活性。
　　 提出了足球比賽視頻中的多運(yùn)動(dòng)員行為識(shí)別的模糊推理系統(tǒng),將行為模型抽象為事件模型,建立傳球、射門、控球、帶球、丟球、進(jìn)球、角球、任意球、越位、球出界、紅黃牌等事件的推理規(guī)則,系統(tǒng)應(yīng)用這些推理規(guī)則進(jìn)行足球比賽視頻中的多運(yùn)動(dòng)員行為識(shí)別。
　　 (4)設(shè)計(jì)了尺度自適應(yīng)局部時(shí)空特征Harr

8、is檢測(cè)操作數(shù)來解決復(fù)雜背景中的光照、多尺度和遮擋問題:依據(jù)視覺理解的整體性和層次性原理,將空間金字塔模型推廣并應(yīng)用到局部時(shí)空特征中,設(shè)計(jì)了尺度自適應(yīng)選擇局部時(shí)空特征Harris檢測(cè)操作數(shù),該操作數(shù)方法簡(jiǎn)單,計(jì)算速度快,能解決復(fù)雜背景中的光照變化和多尺度問題,并能在一定程度上解決遮擋問題。
　　 (5)首次將遷移學(xué)習(xí)算法引入足球比賽視頻中的多運(yùn)動(dòng)員行為識(shí)別與理解中解決多視角及遮擋問題:借鑒遷移學(xué)習(xí)在圖像分類、手勢(shì)識(shí)別等領(lǐng)域研究的

9、成功經(jīng)驗(yàn),設(shè)計(jì)了基于遷移學(xué)習(xí)的局部時(shí)空碼本原型構(gòu)建算法,該算法使得不同視角的碼本之間能夠共享特征,以更緊湊的方式來表示足球比賽視頻中的多運(yùn)動(dòng)員行為,能在一定程度上解決多視角,提高足球比賽視頻中的多運(yùn)動(dòng)員行為識(shí)別與理解方法的魯棒性。
　　 總之,本文從特征提取、團(tuán)隊(duì)行為表示、團(tuán)隊(duì)行為建模和分類器的構(gòu)建技術(shù)等核心問題入手來研究足球比賽視頻中的多運(yùn)動(dòng)員的行為識(shí)別。首先提出了用基于多元統(tǒng)計(jì)模型的分形小波自適應(yīng)圖像去噪算法和基于正交小波分

10、析和偽彩色處理的足球比賽視頻圖像增強(qiáng)算法來改善視頻圖像的視覺效果,然后提出了用自動(dòng)生成RBF網(wǎng)絡(luò)來融合提取的多特征,提出了足球比賽視頻中的團(tuán)體行為模式的時(shí)空驅(qū)動(dòng)力模型,并用它來建模足球比賽視頻中的團(tuán)體行為,更具通用性和靈活性。設(shè)計(jì)了尺度自適應(yīng)局部時(shí)空特征Harris檢測(cè)操作數(shù)來解決復(fù)雜背景中的光照、多尺度和遮擋問題,并能在一定程度上解決遮擋問題。提出了基于先驗(yàn)知識(shí)和人工神經(jīng)網(wǎng)絡(luò)的樹結(jié)構(gòu)混合分類器,提高了識(shí)別的準(zhǔn)確率及識(shí)別速度,利用神經(jīng)網(wǎng)

11、絡(luò)的獨(dú)立性以及自適應(yīng)性解決了單一分類器難以不斷學(xué)習(xí)和適應(yīng)環(huán)境、光照、運(yùn)動(dòng)員人數(shù)變化的多運(yùn)動(dòng)員行為識(shí)別問題。最后針對(duì)多視角及遮擋問題首次將遷移學(xué)習(xí)算法引入足球比賽視頻中的多運(yùn)動(dòng)員行為識(shí)別與理解中解決部分遮擋問題和多視角問題。本文提出的方法提高了足球比賽視頻中的多運(yùn)動(dòng)員的行為識(shí)別的識(shí)別性能,有利于促進(jìn)足球比賽視頻中的多運(yùn)動(dòng)員的行為識(shí)別技術(shù)不斷向前發(fā)展和進(jìn)一步的實(shí)用化。
　　 各項(xiàng)實(shí)驗(yàn)結(jié)果表明,本文提出的解決方法是有效的,基本達(dá)到了預(yù)