語音到手勢轉(zhuǎn)換的FPGA實(shí)現(xiàn).pdf

1、目前，全球超過6.3億人因?yàn)槁犃φ系K給生活和學(xué)習(xí)造成極大的困擾。雖然現(xiàn)有的研究已經(jīng)實(shí)現(xiàn)了手勢到語音的轉(zhuǎn)換，但是缺乏語音到手勢的轉(zhuǎn)換研究，這使得言語障礙者與外界溝通之間存在極大的障礙。為此，論文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于FPGA的語音到手勢的轉(zhuǎn)換系統(tǒng)。首先訓(xùn)練了孤立詞的語音識別聲學(xué)模型，同時(shí)根據(jù)《中國手語》錄制了孤立詞所對應(yīng)的手勢圖像。在此基礎(chǔ)上，利用FPGA實(shí)現(xiàn)了語音到手勢的轉(zhuǎn)換，將手勢圖像和訓(xùn)練好的孤立詞聲學(xué)模型存入FPGA的SDRAM中，

2、將輸入的孤立詞語音信號與孤立詞聲學(xué)模型進(jìn)行匹配，輸出匹配度最優(yōu)的結(jié)果，最終將識別出的孤立詞對應(yīng)的手勢顯示在FPGA的配套LCD液晶屏上。論文的主要工作和創(chuàng)新如下：
　　1.實(shí)現(xiàn)了一個(gè)基于隱Markov模型（HMM）的語音孤立詞識別系統(tǒng)。錄制了20個(gè)孤立詞的訓(xùn)練語料，采用梅爾頻率倒譜系數(shù)（MFCC）作為聲學(xué)特征，利用HTK實(shí)現(xiàn)了模型的訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，本文實(shí)現(xiàn)的孤立詞識別系統(tǒng)能夠在特定人上達(dá)到100％的識別率。
　　2.錄制

3、20個(gè)孤立詞語音所對應(yīng)的手勢圖像。在《中國手語》日常會話教材中選取0-10這11個(gè)阿拉伯?dāng)?shù)字，以及贊美、友好、拒絕、感恩、好的、鄙視、愛心、愛、差勁合計(jì)20個(gè)孤立詞所對應(yīng)的手勢圖像。將選取的孤立詞手勢圖像用分辨率為240x320的BMP格式來保存，用于最終在液晶屏上手勢圖像的顯示。
　　3.實(shí)現(xiàn)了基于FPGA的語音到手勢的轉(zhuǎn)換系統(tǒng)。以NIOS II為軟核處理器系統(tǒng)，將Nios II嵌入到FGPA芯片EP4CE115F29C7N中，

4、完成語音信號實(shí)時(shí)采集、語音解碼存儲、語音識別模式匹配、手勢圖像液晶顯示四個(gè)部分。對系統(tǒng)架構(gòu)進(jìn)行了單一模塊的調(diào)試與整合調(diào)試。此外，結(jié)合SOPC特性，設(shè)計(jì)了人機(jī)接口，完成了一個(gè)基于FPGA平臺的語音識別到手勢圖像顯示的系統(tǒng)。
　　4.對系統(tǒng)進(jìn)行了測試。對硬件平臺運(yùn)行速度與軟件平臺運(yùn)行速度進(jìn)行了對比，結(jié)果表明FPGA硬件平臺識別的時(shí)間比軟件平臺快30倍。對兩個(gè)不同環(huán)境下的系統(tǒng)進(jìn)行特定人和非特定人語音識別到手勢顯示識別率的測試，得出安靜環(huán)