聲音內(nèi)容特征控制的動(dòng)畫自動(dòng)生成系統(tǒng)研究.pdf

1、近幾年來，隨著多媒體技術(shù)以及網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)上的信息資源日益豐富，并且以圖像信息和音頻信息等多媒體信息為主。最近，多媒體信息越來越趨向多元化和綜合化。以前，網(wǎng)絡(luò)上傳送的信息只有單純的文本、圖像和聲音等信息，但是隨著 flash等多媒體流的出現(xiàn)，聲音和圖像開始出現(xiàn)整合，音頻信息和視覺信息綜合化也成為趨勢(shì)，因而音頻信息轉(zhuǎn)化成視覺信息就成為迫切需求。
　　本文針對(duì)音頻信號(hào)，提取基于內(nèi)容的音頻特征參數(shù)，實(shí)現(xiàn)一個(gè)實(shí)時(shí)動(dòng)畫的系統(tǒng)，包括

2、音頻特征參數(shù)提取、動(dòng)畫對(duì)象選取、動(dòng)畫動(dòng)作映射等模塊。用戶只需要選擇音樂，選擇要顯示的動(dòng)畫對(duì)象及其對(duì)應(yīng)的動(dòng)作，便可以欣賞到音樂的可視化效果，體驗(yàn)音樂的聽覺場(chǎng)景到視覺場(chǎng)景的轉(zhuǎn)換。
　　音頻特征參數(shù)提取模塊，實(shí)現(xiàn)的是基于內(nèi)容的音頻特征參數(shù)的提取。音頻特征參數(shù)的提取可分為在時(shí)域、頻域和時(shí)頻域的提取。連續(xù)的音頻信號(hào)經(jīng)過采樣后，得到采樣點(diǎn)。在音頻時(shí)域特征提取中，每個(gè)采樣點(diǎn)包含了這一時(shí)刻音頻信號(hào)的所有信息，所以對(duì)其直接提取音頻特征，不需要做任何

3、進(jìn)一步處理。音頻的時(shí)域特征提取包括短時(shí)平均能量、過零率等。一般來說，語音或音樂信號(hào)中或多或少含有一些環(huán)境噪聲。在時(shí)域范圍是很難分離出這些噪聲的，而在頻域范圍，通過分析信號(hào)的頻譜組成，很容易提取出主要的音頻信息。所謂頻域特征提取，就是將音頻信號(hào)先進(jìn)行傅立葉變換，分析出組成該音頻信號(hào)的不同頻率和不同幅值的諧波，對(duì)這些諧波進(jìn)行特征系數(shù)的提取，可提取的頻域特征有:能量譜、倒譜特征等。在現(xiàn)實(shí)生活中，某些音頻信號(hào)具有很強(qiáng)的時(shí)變特性，在某一段時(shí)間內(nèi)表

4、現(xiàn)出周期信號(hào)的特性，而在另一個(gè)時(shí)間段表現(xiàn)出噪音特性。對(duì)于這些時(shí)變劇烈的音頻信號(hào)，不能僅從時(shí)域分析，也不能僅從頻域分析，因?yàn)楦盗⑷~變換只顧及全局特性，而犧牲局部特性，因而采用在時(shí)頻域提取音頻特征參數(shù)。本論文在音頻特征參數(shù)提取的具體算法中，采用VC++和Matlab混合編程的方式。最終提取的參數(shù)包括短時(shí)平均能量、短時(shí)過零率、短時(shí)頻譜能量及短時(shí)倒譜值等。
　　動(dòng)畫對(duì)象模塊，實(shí)現(xiàn)的是動(dòng)畫對(duì)象的構(gòu)造和選取。本論文動(dòng)畫對(duì)象采用矢量圖和位圖兩種

5、。矢量圖由OpenGL繪制。OpenGL具有超強(qiáng)的圖形繪制能力，包括繪制物體、啟動(dòng)光照、管理位圖、紋理映射、動(dòng)畫、圖像增強(qiáng)以及交互技術(shù)等功能。作為圖形硬件的軟件接口，OpenGL主要是將三維的物體投影到一個(gè)二維平面上，之后處理得到像素進(jìn)行顯示。位圖圖像(bitmap)，是由稱作像素(圖片元素)的單個(gè)點(diǎn)組成的。這些點(diǎn)可以進(jìn)行不同的排列和染色以構(gòu)成圖樣。圖像動(dòng)畫有兩種處理方法，一種是對(duì)圖像像素進(jìn)行點(diǎn)操作，通過對(duì)各個(gè)像素的處理，實(shí)現(xiàn)圖像的顏色