基于多模態(tài)交互的授課系統(tǒng)研究與設(shè)計(jì).pdf

1、接受良好的教育可以使我們懂得自己應(yīng)該肩負(fù)的社會(huì)責(zé)任和家庭責(zé)任，讓國民的整體素質(zhì)不斷提高。因此，提高教學(xué)水平對(duì)公民的影響深遠(yuǎn)。除了提高教師素質(zhì)，完善教學(xué)方式也是提高教學(xué)水平的一種有效方法，一種新穎的授課方式，不僅可以提高教師授課的積極性，同時(shí)還可以提高學(xué)生的主觀能動(dòng)性，提升授課的效率，使得整體的教學(xué)效果得到很大的改善。隨著計(jì)算機(jī)和各種交互設(shè)備的普及和深入，智能化、人性化的自然人機(jī)交互方式更容易人們接受。多模態(tài)的人機(jī)交互方式結(jié)合了多種模式的

2、信息交互，使各模式發(fā)揮自己的優(yōu)勢(shì)，綜合利用人的多種行為方式來完成信息的采集，從而準(zhǔn)確無誤的表達(dá)用戶的意圖，更好的完成人與計(jì)算機(jī)的交互過程。多模態(tài)交互理論應(yīng)用在教學(xué)方面，把新穎的授課方式帶入傳統(tǒng)課堂，使學(xué)生學(xué)習(xí)知識(shí)的趣味性和主觀能動(dòng)性不斷提高。
　　本系統(tǒng)主要研究并設(shè)計(jì)了一種基于多模態(tài)交互的授課系統(tǒng)，利用手勢(shì)交互、語音交互、手寫交互等多通道交互模式，以一種全新的授課方式來完成授課的全過程。系統(tǒng)使用Kinect體感檢測(cè)器采集人體的骨骼

3、節(jié)點(diǎn)數(shù)據(jù)和語音數(shù)據(jù)，將人體的動(dòng)作姿勢(shì)、手勢(shì)、語音與鼠標(biāo)相結(jié)合作為系統(tǒng)的輸入方式。通過Kinect獲得的骨骼結(jié)點(diǎn)數(shù)據(jù)主要應(yīng)用在對(duì)界面各元素操作的手勢(shì)識(shí)別和對(duì)手寫板繪制流程圖兩個(gè)方面。手勢(shì)識(shí)別過程通過動(dòng)態(tài)手勢(shì)識(shí)別方法完成，該識(shí)別方法主要利用骨骼節(jié)點(diǎn)相對(duì)位置與設(shè)定閾值范圍來進(jìn)行判斷，包括單手、雙手多種手勢(shì)的識(shí)別。當(dāng)識(shí)別的手勢(shì)與系統(tǒng)預(yù)定義手勢(shì)匹配時(shí)，系統(tǒng)就會(huì)完成相應(yīng)的操作。手寫板主要是利用右手骨骼節(jié)點(diǎn)模擬畫筆來完成繪制的軌跡，在繪制過程中需要結(jié)