五線譜樂(lè)譜圖像識(shí)別與演奏

1、五線譜樂(lè)譜圖像識(shí)別與演奏,2011年10月26日,1,北京交通大學(xué),主要內(nèi)容,背景基本樂(lè)理知識(shí)與算法原理實(shí)現(xiàn)步驟總結(jié)與展望,2,背景,現(xiàn)代計(jì)算機(jī)科學(xué)與音樂(lè)藝術(shù)的結(jié)合產(chǎn)生了計(jì)算機(jī)音樂(lè)，人們對(duì)音樂(lè)的創(chuàng)作、演奏、傳播從傳統(tǒng)的手工作業(yè)方式一躍而為高科技方式。目前，數(shù)字樂(lè)譜的錄入工作主要由人手動(dòng)完成，輸入工作量大、效率低。因此，不可避免地產(chǎn)生了低速的音樂(lè)信息輸入與高速信息處理之間的矛盾。目標(biāo)：計(jì)算機(jī)讀懂五線譜并進(jìn)行演奏,3,背景,計(jì)算機(jī)

2、光學(xué)樂(lè)譜識(shí)別（Optical Music Recognition，OMR）技術(shù)，利用圖像處理、模式識(shí)別、文檔圖像分析等相關(guān)技術(shù)，把樂(lè)譜圖像自動(dòng)轉(zhuǎn)化成通用的數(shù)字音樂(lè)格式。應(yīng)用范圍：計(jì)算機(jī)音樂(lè)計(jì)算機(jī)輔助音樂(lè)教學(xué)數(shù)字音樂(lè)圖書館等等,4,基本樂(lè)理知識(shí)與算法原理,5,模板匹配算法,6,,基于FFT的快速算法,1）對(duì)模板和待測(cè)圖像進(jìn)行延拓2）對(duì)待測(cè)圖像進(jìn)行預(yù)處理，用二維FFT算法對(duì)其進(jìn)行處理3）用二維FFT算法對(duì)模板進(jìn)行處理，并取共軛

3、4）將待測(cè)圖像的變換矩陣與模板的變換矩陣相乘5）對(duì)結(jié)果做IFFT變換，并作歸一化處理，得到相關(guān)系數(shù)矩陣,7,流程圖,8,讀取圖像,圖像預(yù)處理,譜線識(shí)別與刪除,樂(lè)譜分割,模板匹配,,,單行樂(lè)譜生成,樂(lè)譜分段載入,音頻播放,主要流程步驟,圖像預(yù)處理 RGB圖像 grb2gray（） 灰度圖像 設(shè)置合理

4、閾值，灰度大于閾 值的設(shè)為255，小于閾值的 二值圖像 設(shè)為0,9,,,主要流程步驟,圖像預(yù)處理,10,轉(zhuǎn)化后的二值圖像,主要流程步驟,譜線識(shí)別與刪除,11,主要流程步驟,譜線刪除后的樂(lè)譜圖像,12,主要流程步驟,音符識(shí)別,13,主要流程步驟,音符識(shí)別,14,主要流程步驟,符梁的提取,15,主要流程步驟,16,GPCAD音階頻率表,樂(lè)譜的生成,程序運(yùn)行結(jié)

5、果,樂(lè)譜對(duì)應(yīng)的頻率：frequent =330 392 494 392 440 392 349 494 440 330 392 494 587 587音符對(duì)應(yīng)的時(shí)長(zhǎng)：time =8 8 8 8 4 8 8 4 4 2 8 8 8 8,17,總結(jié)與展望,尚未解決的問(wèn)題