基于視覺與語音的新型鼠標研究.pdf

1、普通鼠標是一種手動的傳統(tǒng)交互方式，滿足不了特殊人群的需求，譬如手臂殘疾的人和游戲愛好者就期望采用多種交互方式來操作PC。隨著圖像、視覺核心算法的發(fā)展，語音識別的理論和應(yīng)用研究的進展，再加上CCD、CMOS圖像傳感器制造工藝的成熟，為基于視覺與語音的鼠標實現(xiàn)提供了條件。 本文主要的研究是基于視覺與語音的新型鼠標。首先對各種視覺跟蹤算法的實現(xiàn)方法進行探討。在充分了解各種算法優(yōu)缺點的基礎(chǔ)上，系統(tǒng)采用鼻子特征跟蹤的方法來作為鼠標的光標移

2、動，采用眼睛睜合判斷的方法作為鼠標按鍵的操作，用HALCON視覺處理軟件對各算法進行仿真，并在VisualBasic中調(diào)用HALCON庫函數(shù)加以實現(xiàn)。另外，鼠標按鍵的操作還可選用語音識別的方式來實現(xiàn)，文中用MATLAB仿真實現(xiàn)了DTW(動態(tài)時間規(guī)整)算法，該算法訓練方法簡單，計算量小，適合于本系統(tǒng)的設(shè)計。采用VisualBasic與Matlab混編的方式在VisualBasic中調(diào)用創(chuàng)建的COM組件，實現(xiàn)語音識別的功能，進行性能測試。將

3、視覺跟蹤模塊與語音識別模塊結(jié)合起來，根據(jù)基于視覺與語音鼠標的體系結(jié)構(gòu)進行設(shè)計，編寫全部程序進行系統(tǒng)的整體調(diào)試，調(diào)試成功后進行預定的實驗，記錄實驗結(jié)果。將視覺與語音技術(shù)應(yīng)用于鼠標中，在國內(nèi)還沒有人開發(fā)研究，這無疑很有研究的價值，具有一定的市場潛力。 從完成的設(shè)計表明，基于視覺與語音的方案可以完成鼠標的基本功能，而且可以適用于特殊人群。但本系統(tǒng)還處于研究設(shè)計階段，還不夠完善，后續(xù)工作將主要圍繞算法性能的提高，程序的優(yōu)化以及其他一些細