基于漢字的多模態(tài)腦機(jī)交互技術(shù)研究.pdf

1、人機(jī)交互是一種研究人與系統(tǒng)（包括計(jì)算機(jī)以及機(jī)械設(shè)備等）信息交換的技術(shù)。腦機(jī)接口屬于一種新型人機(jī)交互方式，它不依賴于正常的外周神經(jīng)和肌肉組織，為大腦和外部設(shè)備建立了一條直接的通信渠道。目前腦機(jī)接口的主要信號(hào)為腦電信號(hào)，該信號(hào)來(lái)自非植入式的采集設(shè)備，具有成本低廉、操作方便和無(wú)損傷等優(yōu)點(diǎn)。本文針對(duì)基于自發(fā)腦電信號(hào)的腦機(jī)接口進(jìn)行了深入的研究，在充分分析離線實(shí)驗(yàn)數(shù)據(jù)的基礎(chǔ)上，構(gòu)建了在線腦機(jī)接口訓(xùn)練系統(tǒng)，有效地提高了腦電信號(hào)的識(shí)別率。
　　在

2、自發(fā)腦電信號(hào)的基礎(chǔ)上設(shè)計(jì)了基于漢字默讀的語(yǔ)言想象腦機(jī)接口，對(duì)14位受試者進(jìn)行離線試驗(yàn)以采集腦電信號(hào)。采用事件相關(guān)譜擾動(dòng)時(shí)頻分析算法為每位受試者確定合適的濾波范圍。根據(jù)該濾波范圍計(jì)算每個(gè)電極的事件相關(guān)（去）同步化。實(shí)驗(yàn)結(jié)果表明漢字默讀與運(yùn)動(dòng)想象類似，也會(huì)誘導(dǎo)腦電信號(hào)在特定大腦皮層發(fā)生事件相關(guān)（去）同步化現(xiàn)象。通過(guò)等效偶極子源定位計(jì)算腦電信號(hào)的空間源分布，使用事件相關(guān)譜擾動(dòng)圖判斷與漢字默讀相關(guān)的偶極子。采用共空間模式作為特征提取的算法，兩個(gè)

3、漢字默讀各自相對(duì)空閑狀態(tài)的特征向量通過(guò)支持向量機(jī)分類后的結(jié)果分別為81.3％和81.4％。共空間模式易受到噪聲的干擾，通過(guò)優(yōu)化濾波范圍后兩者的分類準(zhǔn)確率分別提高到83.5％和83.1％。
　　為了提高自發(fā)腦電信號(hào)的穩(wěn)定性，設(shè)計(jì)了附加語(yǔ)言想象的意識(shí)任務(wù)多模態(tài)腦機(jī)接口。對(duì)10位受試者進(jìn)行了兩個(gè)離線子實(shí)驗(yàn):第一個(gè)為附加語(yǔ)言想象的意識(shí)任務(wù);第二個(gè)為單一的意識(shí)任務(wù)。從頻率、時(shí)間和空間三個(gè)角度來(lái)分析這兩個(gè)子實(shí)驗(yàn)?zāi)X電信號(hào)的穩(wěn)定性，分析方法分別為

4、自回歸功率譜密度、克隆巴赫α系數(shù)和共空間模式空間濾波。結(jié)果表明附加語(yǔ)言想象的意識(shí)任務(wù)所產(chǎn)生的信號(hào)更具有穩(wěn)定性。兩段想象期的信號(hào)分別與空閑期的信號(hào)相比較的分類結(jié)果在附加了語(yǔ)言想象后分別提高了4.2％和7.2％，兩段想象期之間的準(zhǔn)確率也提高了6.0％。為了進(jìn)一步提高不同意識(shí)任務(wù)間腦電信號(hào)的分類準(zhǔn)確率，提出了基于互信息的時(shí)間-頻率范圍選擇模型。在優(yōu)化信號(hào)的時(shí)間-頻率范圍后，平均準(zhǔn)確率提高了2.8％。
　　針對(duì)運(yùn)動(dòng)想象腦機(jī)接口的操作維數(shù)數(shù)

5、量有限，且維數(shù)較多時(shí)需要長(zhǎng)期的訓(xùn)練才能獲得滿意的結(jié)果。將語(yǔ)言想象與左右手運(yùn)動(dòng)想象相結(jié)合，組成具有三維操作的多模態(tài)腦機(jī)接口。通過(guò)事件相關(guān)譜擾動(dòng)圖分析每個(gè)電極的EEG信號(hào)在這三種想象中的時(shí)間和頻率特征，發(fā)現(xiàn)這些想象所誘導(dǎo)的信號(hào)在不同電極上可產(chǎn)生不同的能量變化。共空間模式算法按照一對(duì)一的計(jì)算模型擴(kuò)展為三分類算法，并將其提取的能量特征與互相關(guān)方程和相位鎖定值分別計(jì)算的同步化特征相結(jié)合以改善分類準(zhǔn)確率。提出兩類意識(shí)任務(wù)同步化差異最大的方法來(lái)選擇同

6、步化計(jì)算所用的電極對(duì)。10位受試者的實(shí)驗(yàn)結(jié)果為:語(yǔ)言想象的分類準(zhǔn)確率最高(74.3％)，其次為左手運(yùn)動(dòng)想象(71.4％)，最后為右手運(yùn)動(dòng)想象(69.8％)。
　　目前腦機(jī)接口的反饋訓(xùn)練主要針對(duì)運(yùn)動(dòng)想象實(shí)驗(yàn)范式所開(kāi)展，本文在語(yǔ)言想象離線實(shí)驗(yàn)數(shù)據(jù)分析的基礎(chǔ)上設(shè)計(jì)了基于語(yǔ)言想象的在線腦機(jī)接口訓(xùn)練系統(tǒng)。訓(xùn)練系統(tǒng)的硬件設(shè)備為Quik-Cap腦電帽、Neuroscan SynAmps2系統(tǒng)和臺(tái)式計(jì)算機(jī)，并聯(lián)合SCAN4.5、BCI2000和M

7、atlab作為訓(xùn)練系統(tǒng)的軟件平臺(tái)。在線訓(xùn)練所用的兩個(gè)電極來(lái)自Fisher準(zhǔn)則函數(shù)。預(yù)處理所用的濾波范圍來(lái)自離線實(shí)驗(yàn)數(shù)據(jù)的時(shí)頻分析。特征提取采用方差和功率譜密度這兩種方式。分類器為計(jì)算速度更快的極限學(xué)習(xí)機(jī)。特征向量和分類模型隨著訓(xùn)練的進(jìn)行不斷更新，這保證了算法的自適應(yīng)性。通過(guò)兩步?jīng)Q策融合來(lái)決定反饋的結(jié)果，該方法具有更強(qiáng)的抗干擾性和魯棒性。6位受試者經(jīng)過(guò)4次訓(xùn)練后的結(jié)果表明:通過(guò)一定的反饋訓(xùn)練可幫助他們更好地操作腦機(jī)接口系統(tǒng)，其中第二、三和