足球比賽視頻中的多運動員的行為識別方法研究.pdf

1、足球比賽視頻中的運動員行為是一種有計劃、高協(xié)同性的多運動員團(tuán)隊行為。團(tuán)隊行為的理解和識別是計算機(jī)視覺研究領(lǐng)域的重要研究問題之一,有許多方面的應(yīng)用,如視頻監(jiān)控、對象視頻摘要、人機(jī)交互、體育視頻分析、運動員輔助訓(xùn)練、比賽輔助判罰和視頻檢索瀏覽等。因此,開展足球比賽視頻中的多運動員行為識別研究具有極大的經(jīng)濟(jì)價值和社會價值。
　　 足球比賽視頻中的行為識別涉及特征提取、目標(biāo)跟蹤與檢測、行為表示、分類器的構(gòu)建及行為識別等具體研究內(nèi)容,需要

2、使用運動目標(biāo)的檢測、分割、跟蹤識別、語義表示與推理等技術(shù),涉及到模式識別、圖像處理、圖形學(xué)、計算機(jī)視覺、機(jī)器學(xué)習(xí)和人工智能等學(xué)科,是一個具有挑戰(zhàn)性的、跨學(xué)科的研究方向。
　　 本文在全面綜述足球比賽視頻中的多運動員行為識別研究現(xiàn)狀的基礎(chǔ)上,提出用模糊推理系統(tǒng)來融合多特征進(jìn)行足球比賽視頻中的行為識別。針對當(dāng)前多運動員行為識別的研究過程中存在的不足展開研究,主要研究成果歸納如下:
　　 (1)在視頻圖像預(yù)處理過程中提出了基于

3、多元統(tǒng)計模型的分形小波自適應(yīng)圖像去噪算法和基于正交小波分析和偽彩色處理的足球比賽視頻圖像增強(qiáng)算法:在視頻圖像去噪過程中,通過結(jié)合多元統(tǒng)計模型與分形小波去噪方法,能夠更準(zhǔn)確地估計各種相關(guān)信息,選擇高品質(zhì)的圖像空間。在適度的噪聲方差下根據(jù)拼貼距離在最好的子樹域中找到近優(yōu)父子樹。從而預(yù)測出無噪聲的圖像分形小波編碼,達(dá)到優(yōu)化去噪的目的?；诙嘣y(tǒng)計模型的分形小波自適應(yīng)圖像去噪算法在去除噪聲的同時,能有效地保持圖像的邊緣及紋理特征,很好地保留圖像

4、的精細(xì)結(jié)構(gòu),取得了良好的去噪效果。由于采用了預(yù)測小波分形編碼,優(yōu)化了算法結(jié)構(gòu),算法的處理速度比較快。基于正交小波分析和偽彩色處理的足球比賽視頻圖像增強(qiáng)算法既可克服采用正交小波分析足球比賽視頻圖像增強(qiáng)算法處理后的圖像偏亮及對比度較差等缺陷,又可克服偽彩色處理的足球比賽視頻圖像增強(qiáng)算法不能夠充分處理圖像中某些細(xì)節(jié)信息的缺陷。
　　 (2)提出用自動生成RBF網(wǎng)絡(luò)來融合多特征:為了克服光照、遮擋、尺度變化等影響,滿足實時性識別的要求,

5、提出用自動生成RBF網(wǎng)絡(luò)融合足球比賽視頻中的多運動員行為識別過程中提取的球員的服裝顏色矩特征、球員和裁判的輪廓特征、球場線的坐標(biāo)參數(shù)特征及運動目標(biāo)的運動軌跡特征。定義一個動態(tài)特征模型,首先提取有關(guān)足球比賽視頻中的多運動員行為的主要特征,當(dāng)這些特征不足以完成識別與理解時,系統(tǒng)逐步提取候選的細(xì)節(jié)特征。同時通過采用3D局部方向直方圖特征,能有效解決遮擋和姿態(tài)變化的多樣性,使足球比賽視頻中的多運動員行為識別與理解具有更強(qiáng)的魯棒性。
　　

6、 (3)提出了足球比賽視頻中的團(tuán)體行為模式的時空驅(qū)動力模型和模糊推理系統(tǒng):利用由時空限制的軌跡、變化的人數(shù)和行為之間的時空變化的集合組成的行為特征為足球比賽視頻中的團(tuán)體行為進(jìn)行建模。將足球比賽視頻中的團(tuán)體行為作為一個區(qū)域密集分布的時空驅(qū)動力的動態(tài)過程,用簡單的離散軌跡點集來取代運動的發(fā)生。通過將F(tn,x,y)的Lie群非線性流形空間轉(zhuǎn)化為f(tn,x,y)的Lie代數(shù)的線性空間來大大簡化模型的計算量。模型充分利用了從運動軌跡中獲得的

7、位置和速度等低層次特征,模型的學(xué)習(xí)簡單。模型的特征融合能力比較強(qiáng),與其它模型比較性能優(yōu)越。模型在建模復(fù)雜行為模式方面具有通用性和靈活性。
　　 提出了足球比賽視頻中的多運動員行為識別的模糊推理系統(tǒng),將行為模型抽象為事件模型,建立傳球、射門、控球、帶球、丟球、進(jìn)球、角球、任意球、越位、球出界、紅黃牌等事件的推理規(guī)則,系統(tǒng)應(yīng)用這些推理規(guī)則進(jìn)行足球比賽視頻中的多運動員行為識別。
　　 (4)設(shè)計了尺度自適應(yīng)局部時空特征Harr

8、is檢測操作數(shù)來解決復(fù)雜背景中的光照、多尺度和遮擋問題:依據(jù)視覺理解的整體性和層次性原理,將空間金字塔模型推廣并應(yīng)用到局部時空特征中,設(shè)計了尺度自適應(yīng)選擇局部時空特征Harris檢測操作數(shù),該操作數(shù)方法簡單,計算速度快,能解決復(fù)雜背景中的光照變化和多尺度問題,并能在一定程度上解決遮擋問題。
　　 (5)首次將遷移學(xué)習(xí)算法引入足球比賽視頻中的多運動員行為識別與理解中解決多視角及遮擋問題:借鑒遷移學(xué)習(xí)在圖像分類、手勢識別等領(lǐng)域研究的

9、成功經(jīng)驗,設(shè)計了基于遷移學(xué)習(xí)的局部時空碼本原型構(gòu)建算法,該算法使得不同視角的碼本之間能夠共享特征,以更緊湊的方式來表示足球比賽視頻中的多運動員行為,能在一定程度上解決多視角,提高足球比賽視頻中的多運動員行為識別與理解方法的魯棒性。
　　 總之,本文從特征提取、團(tuán)隊行為表示、團(tuán)隊行為建模和分類器的構(gòu)建技術(shù)等核心問題入手來研究足球比賽視頻中的多運動員的行為識別。首先提出了用基于多元統(tǒng)計模型的分形小波自適應(yīng)圖像去噪算法和基于正交小波分

10、析和偽彩色處理的足球比賽視頻圖像增強(qiáng)算法來改善視頻圖像的視覺效果,然后提出了用自動生成RBF網(wǎng)絡(luò)來融合提取的多特征,提出了足球比賽視頻中的團(tuán)體行為模式的時空驅(qū)動力模型,并用它來建模足球比賽視頻中的團(tuán)體行為,更具通用性和靈活性。設(shè)計了尺度自適應(yīng)局部時空特征Harris檢測操作數(shù)來解決復(fù)雜背景中的光照、多尺度和遮擋問題,并能在一定程度上解決遮擋問題。提出了基于先驗知識和人工神經(jīng)網(wǎng)絡(luò)的樹結(jié)構(gòu)混合分類器,提高了識別的準(zhǔn)確率及識別速度,利用神經(jīng)網(wǎng)

11、絡(luò)的獨立性以及自適應(yīng)性解決了單一分類器難以不斷學(xué)習(xí)和適應(yīng)環(huán)境、光照、運動員人數(shù)變化的多運動員行為識別問題。最后針對多視角及遮擋問題首次將遷移學(xué)習(xí)算法引入足球比賽視頻中的多運動員行為識別與理解中解決部分遮擋問題和多視角問題。本文提出的方法提高了足球比賽視頻中的多運動員的行為識別的識別性能,有利于促進(jìn)足球比賽視頻中的多運動員的行為識別技術(shù)不斷向前發(fā)展和進(jìn)一步的實用化。
　　 各項實驗結(jié)果表明,本文提出的解決方法是有效的,基本達(dá)到了預(yù)