利用腦功能響應特征的視音頻分析方法研究.pdf

1、隨著視音頻數(shù)據(jù)的爆炸式增長，準確的視音頻檢索、分類等分析方法成為人們研究的熱點。目前視音頻分析方法大都基于顏色、紋理、梅爾頻率倒譜系數(shù)等計算機底層視聽覺特征，這些底層特征在視音頻分類、檢索中的準確率還有待于進一步提高。本文提出一種新穎的腦功能響應（Brain functional response，BFR）特征，并利用該特征進行視音頻分析，提高了現(xiàn)有視音頻分析的準確率。主要工作包括：
　　首先，提出了一種基于大腦功能響應信息的視頻

2、檢索方法。首先，隨機選取少量視頻作為訓練樣本讓被試（測試者）觀看，同時利用功能磁共振成像技術（Functional magnetic resonance imaging，fMRI）采集被試大腦感興趣區(qū)域（Regions of the interests，ROIs）的響應信號。其次，利用功能連接矩陣來度量每兩個ROIs之間的功能連接，功能連接矩陣可以表征大腦對視頻刺激的理解并作為初始的BFR特征。第三，由于功能連接矩陣中存在著冗余和無效信

3、息，我們利用特征選擇方法對其進行特征選擇，選取其中最具分辨能力的元素作為BFR特征。第四，由于fMRI采集成本較高，對所有視頻進行fMRI掃描不具有可行性，但是我們卻擁有大量廉價的底層視覺特征，所以本文利用雙高斯過程回歸算法對訓練樣本的BFR特征和底層視覺特征進行訓練，然后利用訓練好的回歸模型將測試視頻的底層視覺特征映射到BFR特征空間，得到測試視頻的BFR特征。最后，利用流形排序方法在BFR特征空間上進行視頻檢索。視頻數(shù)據(jù)來自TREC

4、VID2005數(shù)據(jù)庫，實驗結果表明本文方法得到的視頻檢索準確率高于底層特征的檢索準確率。
　　其次，提出了一種融合底層視聽覺特征和BFR特征的視頻聚類方法。隨著對BFR特征和底層特征的深入研究，我們發(fā)現(xiàn)雖然整體上 BFR特征具有較高的視頻分析準確率，但是兩者之間也具有互補性，即有些視頻在BFR特征空間具有較高的區(qū)分能力，有些卻在底層視聽覺特征空間中具有優(yōu)勢，因此，我們利用多模態(tài)譜聚類算法對回歸模型預測得到的BFR特征和底層特征進行

5、融合聚類，得到比單獨使用BFR特征或底層視聽覺特征更高的視頻聚類準確率。另外，我們采用基于小波變換一致性的功能連接矩陣來度量ROIs之間的交互，實驗證明可以得到更優(yōu)的BFR特征。
　　再次，提出了一種基于自然刺激fMRI的音頻分類方法。首先，選取少量音頻作為訓練樣本，從被試聆聽訓練樣本時采集的大腦fMRI信號中獲取BFR特征。其次，提出了一種基于自訓練的雙高斯過程回歸算法對訓練樣本的BFR特征和底層特征訓練回歸模型，然后利用回歸模

6、型將測試樣本的音頻特征映射到 BFR特征空間，該回歸算法能充分利用測試樣本的信息，相對于其他回歸算法，可以預測得到更好的BFR特征。最后，將測試樣本的BFR特征和底層音頻特征融合后進行音頻分類，得到了比傳統(tǒng)音頻特征和本文提出的BFR特征更高的音頻分類準確率。
　　最后，提出了一種基于 BFR特征和視聽覺特征的視頻受關注度識別方法。視頻受關注度分析涉及情感計算學科，是一個新興的研究方向。本文隨機選取不同受關注度的視頻作為訓練樣本，獲

7、取被試在觀看訓練樣本時的fMRI信息，并量化得到BFR特征。然后，收集現(xiàn)有與視頻受關注度有關的底層視聽覺特征，并從訓練樣本和測試視頻中提取這些特征。最后，利用多模態(tài)深度玻爾茲曼機（Deep Boltzmann machine，DBM）無監(jiān)督學習 BFR特征和底層特征的聯(lián)合表達，該聯(lián)合表達可以作為融合特征用于視頻受關注度分類中。本文采用的多模態(tài)DBM可以直接預測沒有進行fMRI掃描的視頻的聯(lián)合表達，即只在訓練階段需要兩種特征的參與，而在實

8、際運用中，只需要基于底層特征和DBM模型便可以將測試視頻的融合特征預測出來，不再需要對測試視頻進行 fMRI掃描。在視頻數(shù)據(jù)庫上的實驗結果證明了本文方法得到的視頻受關注度分類準確率高于計算機底層視聽覺特征。
　　綜上所述，本文利用fMRI技術采集大腦接受視音頻刺激時的響應，并從中提取了BFR特征，通過機器學習算法將該特征引入到現(xiàn)有的視音頻分析中，提高了視音頻分析的準確率。本文方法在腦科學和多媒體分析之間架起了橋梁，為傳統(tǒng)的視音頻分