基于人機(jī)交互技術(shù)的音樂機(jī)的設(shè)計.pdf

1、數(shù)字圖像處理、多媒體技術(shù)、計算機(jī)圖形學(xué)等學(xué)科的迅速發(fā)展，給交互式技術(shù)的發(fā)展帶來了無限可能，尤其是當(dāng)交互式技術(shù)與多媒體技術(shù)相結(jié)合時，它就成為一門集技術(shù)和藝術(shù)為一體的學(xué)科。本文設(shè)計的音樂機(jī)是一種可人機(jī)交互操作的電子音效設(shè)備，它突破了傳統(tǒng)的鍵盤、鼠標(biāo)、按鍵交互手段，采用機(jī)器視覺技術(shù)進(jìn)行多媒體人機(jī)交互。本文研究的主要包括以下幾個方面:
　　(1)系統(tǒng)平臺的構(gòu)建包括硬件平臺和軟件平臺兩方面的內(nèi)容。硬件平臺為一個帶有半透明操作平臺的箱式結(jié)構(gòu)，

2、各個模塊按照其功能在結(jié)構(gòu)內(nèi)有序擺放。軟件平臺則在VS2005環(huán)境下通過C++編程實現(xiàn)各個功能模塊。
　　(2)圖像采集和預(yù)處理模塊。利用USB攝像頭進(jìn)行圖像采集，在windows驅(qū)動模型下WDM下遵循UVC協(xié)議實現(xiàn)視頻數(shù)據(jù)流的傳輸。圖像預(yù)處理部分主要包含自適應(yīng)閾值分割，分割過程中充分考慮鄰接區(qū)域的像素信息，比全局閾值分割擁有更強(qiáng)的抗噪能力。
　　(3)在圖像識別追蹤模塊，利用圖像拓?fù)涮卣鞯牧己玫娜痔匦裕O(shè)計了一類載有樂器基

3、本形狀的拓?fù)浣Y(jié)構(gòu)模塊，并相應(yīng)提出了一種基于圖像拓?fù)涮卣鞯倪\(yùn)動目標(biāo)追蹤的算法。這種算法具有良好平移旋轉(zhuǎn)、尺度縮放不變性，并且在滿足實時性的前提下保持良好的魯棒性。
　　(4)視聽效果生成部分包括視覺效果和聽覺效果兩個模塊。聽覺效果模塊，根據(jù)識別追蹤的結(jié)果，電子音效產(chǎn)生模塊根據(jù)MIDI協(xié)議，實時發(fā)送MIDI命令消息控制聲卡發(fā)聲，產(chǎn)生動態(tài)的電子音樂效果;視覺效果模塊，基于OpenGL圖形應(yīng)用接口產(chǎn)生簡單的二維圖形，并通過實時繪制過程產(chǎn)生