基于漢字的多模態(tài)腦機交互技術(shù)研究.pdf

1、人機交互是一種研究人與系統(tǒng)（包括計算機以及機械設(shè)備等）信息交換的技術(shù)。腦機接口屬于一種新型人機交互方式，它不依賴于正常的外周神經(jīng)和肌肉組織，為大腦和外部設(shè)備建立了一條直接的通信渠道。目前腦機接口的主要信號為腦電信號，該信號來自非植入式的采集設(shè)備，具有成本低廉、操作方便和無損傷等優(yōu)點。本文針對基于自發(fā)腦電信號的腦機接口進行了深入的研究，在充分分析離線實驗數(shù)據(jù)的基礎(chǔ)上，構(gòu)建了在線腦機接口訓練系統(tǒng)，有效地提高了腦電信號的識別率。
　　在

2、自發(fā)腦電信號的基礎(chǔ)上設(shè)計了基于漢字默讀的語言想象腦機接口，對14位受試者進行離線試驗以采集腦電信號。采用事件相關(guān)譜擾動時頻分析算法為每位受試者確定合適的濾波范圍。根據(jù)該濾波范圍計算每個電極的事件相關(guān)（去）同步化。實驗結(jié)果表明漢字默讀與運動想象類似，也會誘導腦電信號在特定大腦皮層發(fā)生事件相關(guān)（去）同步化現(xiàn)象。通過等效偶極子源定位計算腦電信號的空間源分布，使用事件相關(guān)譜擾動圖判斷與漢字默讀相關(guān)的偶極子。采用共空間模式作為特征提取的算法，兩個

3、漢字默讀各自相對空閑狀態(tài)的特征向量通過支持向量機分類后的結(jié)果分別為81.3％和81.4％。共空間模式易受到噪聲的干擾，通過優(yōu)化濾波范圍后兩者的分類準確率分別提高到83.5％和83.1％。
　　為了提高自發(fā)腦電信號的穩(wěn)定性，設(shè)計了附加語言想象的意識任務(wù)多模態(tài)腦機接口。對10位受試者進行了兩個離線子實驗:第一個為附加語言想象的意識任務(wù);第二個為單一的意識任務(wù)。從頻率、時間和空間三個角度來分析這兩個子實驗?zāi)X電信號的穩(wěn)定性，分析方法分別為

4、自回歸功率譜密度、克隆巴赫α系數(shù)和共空間模式空間濾波。結(jié)果表明附加語言想象的意識任務(wù)所產(chǎn)生的信號更具有穩(wěn)定性。兩段想象期的信號分別與空閑期的信號相比較的分類結(jié)果在附加了語言想象后分別提高了4.2％和7.2％，兩段想象期之間的準確率也提高了6.0％。為了進一步提高不同意識任務(wù)間腦電信號的分類準確率，提出了基于互信息的時間-頻率范圍選擇模型。在優(yōu)化信號的時間-頻率范圍后，平均準確率提高了2.8％。
　　針對運動想象腦機接口的操作維數(shù)數(shù)

5、量有限，且維數(shù)較多時需要長期的訓練才能獲得滿意的結(jié)果。將語言想象與左右手運動想象相結(jié)合，組成具有三維操作的多模態(tài)腦機接口。通過事件相關(guān)譜擾動圖分析每個電極的EEG信號在這三種想象中的時間和頻率特征，發(fā)現(xiàn)這些想象所誘導的信號在不同電極上可產(chǎn)生不同的能量變化。共空間模式算法按照一對一的計算模型擴展為三分類算法，并將其提取的能量特征與互相關(guān)方程和相位鎖定值分別計算的同步化特征相結(jié)合以改善分類準確率。提出兩類意識任務(wù)同步化差異最大的方法來選擇同

6、步化計算所用的電極對。10位受試者的實驗結(jié)果為:語言想象的分類準確率最高(74.3％)，其次為左手運動想象(71.4％)，最后為右手運動想象(69.8％)。
　　目前腦機接口的反饋訓練主要針對運動想象實驗范式所開展，本文在語言想象離線實驗數(shù)據(jù)分析的基礎(chǔ)上設(shè)計了基于語言想象的在線腦機接口訓練系統(tǒng)。訓練系統(tǒng)的硬件設(shè)備為Quik-Cap腦電帽、Neuroscan SynAmps2系統(tǒng)和臺式計算機，并聯(lián)合SCAN4.5、BCI2000和M

7、atlab作為訓練系統(tǒng)的軟件平臺。在線訓練所用的兩個電極來自Fisher準則函數(shù)。預(yù)處理所用的濾波范圍來自離線實驗數(shù)據(jù)的時頻分析。特征提取采用方差和功率譜密度這兩種方式。分類器為計算速度更快的極限學習機。特征向量和分類模型隨著訓練的進行不斷更新，這保證了算法的自適應(yīng)性。通過兩步?jīng)Q策融合來決定反饋的結(jié)果，該方法具有更強的抗干擾性和魯棒性。6位受試者經(jīng)過4次訓練后的結(jié)果表明:通過一定的反饋訓練可幫助他們更好地操作腦機接口系統(tǒng)，其中第二、三和