基于顯著性的視覺目標(biāo)跟蹤研究.pdf

1、隨著視頻采集設(shè)備的成本不斷降低，其普及率越來越高，使得各種來源的視頻數(shù)量正在急速增長。如何解放人力利用機器對視頻進行自動分析存在迫切需求。目標(biāo)跟蹤作為視頻自動分析系統(tǒng)的關(guān)鍵，對理解視頻內(nèi)容、分析并識別目標(biāo)屬性起著重要作用，因此一直是學(xué)術(shù)界和工業(yè)界關(guān)注的研究課題。由于實際場景中存在諸多干擾因素，如目標(biāo)和場景的動態(tài)變化、背景中相似物的干擾、目標(biāo)的變形遮擋、尺度變化和旋轉(zhuǎn)、以及運動模糊和噪聲等，目前設(shè)計穩(wěn)定可靠的跟蹤器仍然是具有挑戰(zhàn)的任務(wù)。心

2、理學(xué)研究表明，人的視覺系統(tǒng)存在選擇注意機制，使我們在處理視覺信息時能夠排除干擾，快速有效地從場景中篩選出感興趣對象信息。這種數(shù)據(jù)的篩選能力能夠極大地提高信息處理的效率。因此，本文基于人眼的視覺注意機制，開展了基于顯著性的目標(biāo)跟蹤研究。本文首先對視頻顯著性檢測問題進行研究，然后研究了目標(biāo)跟蹤中的外觀建模與特征關(guān)聯(lián)匹配問題，最后從人眼的視覺注意機制入手，研究結(jié)合顯著性檢測的目標(biāo)跟蹤算法，以期提升跟蹤性能。
　　本研究主要內(nèi)容包括：⑴針

3、對視頻中待跟蹤目標(biāo)的自動獲取問題，提出了基于底層視覺特征的視頻顯著性檢測方法。該方法首先檢測空間顯著性和時間顯著性，然后通過運動熵將二者動態(tài)融合?？臻g顯著性檢測考慮三個因素：像素的空間位置，雙對比色和相似性分布。時間顯著性檢測利用光流特征計算運動的全局對比度。為了抑制場景中的運動噪聲提出一種平均光流直方圖（HOAOF）方法。相比于傳統(tǒng)的視頻顯著性檢測方法，當(dāng)存在攝像機和顯著對象同時運動時，本方法依舊能得到較好的檢測結(jié)果。⑵針對場景中底層

4、特征無法反映由高層語義對象驅(qū)動的視覺顯著性問題，提出結(jié)合底層和高層特征的視頻顯著性檢測方法，并以新聞視頻為例研究了特定類型視頻中的高層語義特征對顯著性檢測的影響。其中自下而上注意力模型利用底層的視覺刺激，采取局部和全局相結(jié)合的方式檢測圖像顯著譜和運動顯著譜。在檢測圖像顯著譜時引入四元數(shù)圖像的概念，提出一種多尺度多顏色通道的四元數(shù)圖像顯著性檢測方法。在自上而下的注意力模型中通過檢測視頻圖像的通用高層語義特征（如人臉、行人和車輛），以及新聞

5、視頻中特有的高層特征（如播報員和閃光燈），生成自上而下的顯著譜。最后，將自下而上顯著譜與自上而下顯著譜融合得到視頻顯著譜。通過結(jié)合高層語義特征，本文方法能夠獲得和人眼更相近的檢測結(jié)果。⑶針對跟蹤過程中的目標(biāo)遮擋、旋轉(zhuǎn)和尺度變化等挑戰(zhàn)，提出基于一致性特征點選擇的目標(biāo)跟蹤方法。該方法利用特征點構(gòu)建目標(biāo)外觀模型，在跟蹤過程中采用空間幾何約束定義特征點的一致性，然后通過一種改進的密度聚類方法選擇與目標(biāo)一致的興趣點。另外為了適應(yīng)跟蹤過程中目標(biāo)外觀

6、的變化，本文還采用顏色直方圖作為目標(biāo)的參考模板，用于計算跟蹤結(jié)果的置信度，然后據(jù)此更新目標(biāo)的外觀模型。該方法能夠克服目標(biāo)旋轉(zhuǎn)和尺度變化，而且在發(fā)生部分遮擋甚至完全遮擋時也能夠重新跟蹤到目標(biāo)。⑷針對特征點在低質(zhì)量圖像以及平坦圖像區(qū)域上檢測和匹配存在可靠性下降的問題，提出基于一致性判別區(qū)域的目標(biāo)跟蹤方法。該方法首先采用基于樣例的SVM選擇出具有高判別性的區(qū)域，利用這些判別區(qū)域?qū)Ω櫮繕?biāo)的外觀進行建模，然后對這些判別區(qū)域分別進行相關(guān)濾波跟蹤，

7、在跟蹤過程中計算每個判決區(qū)域的一致性。根據(jù)兩點要素定義判別區(qū)域的一致性：可跟蹤性和預(yù)測能力。根據(jù)一致性對跟蹤器和區(qū)域外觀進行自適應(yīng)更新，并用于最終目標(biāo)的全局定位。實驗結(jié)果顯示，利用一致性的判別區(qū)域進行目標(biāo)跟蹤能夠有效提升跟蹤器的性能。⑸針對單一外觀模型和固定特征難以適應(yīng)目標(biāo)在復(fù)雜場景中面臨的外觀變化問題，在視頻顯著性研究的基礎(chǔ)上，提出一種顯著性特征加權(quán)的目標(biāo)跟蹤方法。該方法在目標(biāo)外觀構(gòu)造上采用兩種模型的融合，一種是結(jié)構(gòu)保持的統(tǒng)計外觀模型