基于手勢識別的認(rèn)知訓(xùn)練系統(tǒng)研制.pdf

1、認(rèn)知是指通過形成概念、知覺、判斷或想象等心理活動來獲取知識的過程。執(zhí)行功能作為高級的認(rèn)知能力，已經(jīng)成為國際心理學(xué)研究的一個(gè)熱點(diǎn)。執(zhí)行功能與多種能力的發(fā)展有關(guān)系，涉及決策、概念形成、認(rèn)知轉(zhuǎn)換、監(jiān)控動作等方面，因此執(zhí)行功能的研究對人類認(rèn)知發(fā)展具有重要的理論和實(shí)踐意義。近年來的一些研究表明，執(zhí)行功能訓(xùn)練可有效提高兒童的認(rèn)知績效。通過相應(yīng)的認(rèn)知訓(xùn)練任務(wù)，兒童在智力水平等方面可以得到有效的提高，特別是對患有孤獨(dú)癥譜系障礙的兒童的認(rèn)知訓(xùn)練具有借鑒價(jià)

2、值和實(shí)用價(jià)值。目前已有的認(rèn)知訓(xùn)練大多是以行為訓(xùn)練和傳統(tǒng)計(jì)算機(jī)為平臺，不夠便捷，更不適用于兒童，且計(jì)算機(jī)化的認(rèn)知訓(xùn)練所用的交互方式為傳統(tǒng)的使用鍵盤鼠標(biāo)的交互方式，兒童需要將一部分精力轉(zhuǎn)移到操作過程中，損耗了兒童過多的關(guān)注點(diǎn)。
　　針對上述問題，本課題主要研究了以自然人機(jī)交互為基礎(chǔ)的認(rèn)知訓(xùn)練系統(tǒng)，采用動作感應(yīng)傳感器、手勢識別技術(shù)、客戶端呈現(xiàn)技術(shù)、WEB技術(shù)等，設(shè)計(jì)研發(fā)以靜態(tài)動態(tài)兩種手勢動作為交互基礎(chǔ)，以自然人機(jī)交互為交互手段，同時(shí)具有

3、用戶管理，參數(shù)設(shè)置等功能的計(jì)算機(jī)化認(rèn)知訓(xùn)練系統(tǒng);并根據(jù)執(zhí)行功能核心成分設(shè)計(jì)了二個(gè)用于訓(xùn)練兒童青少年工作記憶與認(rèn)知靈活性的任務(wù)。并將此系統(tǒng)應(yīng)用于孤獨(dú)癥的干預(yù)過程，檢驗(yàn)其對認(rèn)知能力的改善作用。
　　本文首先介紹了認(rèn)知訓(xùn)練系統(tǒng)的課題背景，并介紹了認(rèn)知訓(xùn)練的研究現(xiàn)狀，對國內(nèi)外的研究情況進(jìn)行了調(diào)研，在探討了認(rèn)知訓(xùn)練缺乏精細(xì)的自然的人機(jī)交互方式之后，提出本文的課題使用LeapMotion進(jìn)行人機(jī)交互。之后，本文對認(rèn)知訓(xùn)練系統(tǒng)的各個(gè)模塊進(jìn)行了分

4、析設(shè)計(jì);其次，本文詳細(xì)介紹了基于手勢識別的認(rèn)知訓(xùn)練系統(tǒng)的前端設(shè)計(jì)與實(shí)現(xiàn)，包括數(shù)據(jù)幀的預(yù)處理，靜態(tài)，動態(tài)手勢識別方法與交互設(shè)計(jì)。并對認(rèn)知訓(xùn)練任務(wù)進(jìn)行了詳細(xì)介紹，介紹了數(shù)字連線任務(wù)與圖形匹配任務(wù)的交互方式，及其設(shè)計(jì)與實(shí)現(xiàn);再次，對系統(tǒng)后端的設(shè)計(jì)進(jìn)行了詳細(xì)介紹，包括數(shù)據(jù)庫設(shè)計(jì)，服務(wù)器后臺架構(gòu)，服務(wù)化接口，服務(wù)器監(jiān)控等。最后將本課題開發(fā)的認(rèn)知訓(xùn)練系統(tǒng)應(yīng)用于孤獨(dú)癥兒童的訓(xùn)練中，經(jīng)過4周的訓(xùn)練方案實(shí)施，對訓(xùn)練前后的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，探討實(shí)驗(yàn)結(jié)果，證