足球視頻場景分析與三維重建的關鍵技術研究.pdf

1、多媒體信息的爆炸式增長要求人們研究開發(fā)視頻檢索技術。近年來，以體育視頻內容分析為主要目標的研究已經成為熱門領域。這項研究主要為觀眾提供精彩摘要并以多種形式呈現給用戶。雖然經過十余年的努力，這一領域已經取得了長足進步，但當前取得的成績與人們的期望還有很大距離。
　　本文針對足球視頻場景分析與三維重建中的若干關鍵技術進行了比較深入的研究，旨在提高它們的魯棒性和可應用性。文中工作集中在以下三個方面：1）自動的球場檢測算法，這項技術是場景

2、分析與三維重建工作中共用的技術；2）運動對象的檢測和跟蹤，在體育視頻中運動對象主要是指球員和球；3）從單視點廣播視頻中重建三維場景技術。本文的主要創(chuàng)新工作有：
　　1.本文提出了一種基于本征圖像的自動球場顏色檢測算法。作為體育視頻
　　分析研究中一項關鍵技術，球場檢測嚴重地受到陰影區(qū)域的影響，此算法可以有效地克服這一困難。算法首先自動地在色彩分布直方圖中檢測主顏色。因具有相似表面反射函數的像素值在正確的本征圖像投影方向投影后

3、，它們具有關于某一點對稱分布。依據此特性，算法用已檢測到的主顏色粗標定本征圖像的投影方向。在此方向的指導下，算法根據本征圖像的分布來判斷第二主顏色是否是球場顏色的。此外，當確定了球場中陰影區(qū)域和非陰影區(qū)域后，本文提出通過最大化二者本征圖像的分布相似度精細標定相機的本征圖像的投影方向。實驗表明此算法可以比較準確地檢測球場顏色，同時精度的本征圖像投影方向為在含有陰影區(qū)域的目標跟蹤提供了一種光照不變的表觀特征。
　　2.本文提出了一種自

4、適應的球場檢測算法。針對廣播視頻流中的數據具有
　　數量大、噪聲多、同時來自多部相機的特點，在檢測到的球場顏色的基礎上，算法采用高斯混合模型對其建模，并且利用增量期望最大算法對模型參數進行在線估計。算法一方面提高了球場檢測的效果，另一方面減少訓練過程對數據存儲的開銷。實驗表明，由于增量學習方法不斷地強化模型的泛化能力，此算法取得了比單純的直方圖方法和一般的高斯混合模型方法更好的結果。
　　3.本文提出了一種順序數據關聯策略應

5、用于多目標的跟蹤。多運動目標跟
　　蹤受到對象之間相互遮擋的困擾。因為比賽場地是平面，根據成像規(guī)律同一平面上物距大的目標的像位于物距小的目標的像的上部，此策略按照目標的像的底邊位置關系，從下到上依次關聯各個目標的觀測。與傳統(tǒng)的基于聯合概率數據關聯方法相比，此策略大大減少了物距排列的搜索空間，提高了算法的效率，同時基本保證了基于此策略的數據關聯是貝葉斯意義下的最優(yōu)解。此外，本文提出一種最大化前景模板相似度同時最小化背景模板相似度的表

6、觀建模方法。這種方法在匹配目標時，同時考慮了目標背景的影響，從而有效地提高了跟蹤器的跟蹤性能。對于球的檢測和跟蹤，本文從實驗角度上回答了只有跟蹤和檢測有機地結合才能取得更好的性能。
　　4.本文提出了一種從單視廣播視頻中重建三維場景的方法。方法根據圖像
　　平面和場地平面的對應關系，并利用相機的自標定方法聯合確定相機在場地中的位置；然后利用相機的位置、球的飛行平面、球的虛影之間的幾何關系，本文推導出球的三維位置估計公式。另外

7、，對于無法確定球的飛行平面的情況，本文提出一種基于物理限制的飛行平面預測算法。這種算法通過優(yōu)化一個新設計的耗費函數，使其在最小值時對應于球的最合理的三維軌跡。此方法的優(yōu)點是可以估計飛行中的球的三維位置而無需參考已知高度的物體；應用此法的限制條件少，其只要求相機位置是固定的。實驗表明，此三維重建方法取得了令人滿意的結果。
　　上述技術被應用到足球視頻精彩檢測和精彩片斷的三維動畫生成原型系統(tǒng)中去，取得了令人滿意的效果。雖然以足球視頻為