基于QAGKRL的強(qiáng)化學(xué)習(xí)在線神經(jīng)解碼方法.pdf

1、腦機(jī)接口將大腦的神經(jīng)活動通過解碼器的解析，轉(zhuǎn)化成可以用來控制外部設(shè)備的控制信號，實(shí)現(xiàn)了大腦與外界環(huán)境的直接交互，為有運(yùn)動功能缺失的患者帶來了一種新的康復(fù)途徑。現(xiàn)階段關(guān)于神經(jīng)解碼的研究主要是基于監(jiān)督學(xué)習(xí)和基于強(qiáng)化學(xué)習(xí)兩大類。相比于需要訓(xùn)練數(shù)據(jù)的監(jiān)督學(xué)習(xí)解碼模型，基于強(qiáng)化學(xué)習(xí)的解碼模型的優(yōu)勢在于:(1)無需實(shí)際的用戶肢體行為數(shù)據(jù);(2)允許用戶通過試錯的方式來動態(tài)的操控外部設(shè)備;(3)解碼模型能自適應(yīng)神經(jīng)元發(fā)放模式的變化。大腦具有很強(qiáng)的可塑

2、性，環(huán)境的變化勢必會引起神經(jīng)元發(fā)放模式的改變，強(qiáng)化學(xué)習(xí)模型這種自適應(yīng)的特性在腦機(jī)接口的解碼穩(wěn)定性中具有重要的作用。
　　本文使用了兩只猴子（B04和B10），基于經(jīng)典center-out伸縮實(shí)驗(yàn)范式對強(qiáng)化學(xué)習(xí)的自適應(yīng)特性進(jìn)行了探索，并和經(jīng)典監(jiān)督學(xué)習(xí)方法SVM進(jìn)行了比較分析。在center-out范式中，猴子通過搖桿控制光標(biāo)球擊打目標(biāo)球以獲得獎賞。同時(shí)，用于離線分析的B04神經(jīng)數(shù)據(jù)來自于其大腦的雙側(cè)初級運(yùn)動皮層(M1)區(qū)，用于在線實(shí)

3、驗(yàn)的B10神經(jīng)數(shù)據(jù)來自于其雙側(cè)背側(cè)前運(yùn)動皮層(PMd)區(qū)。算法部分，我們首先實(shí)現(xiàn)了基于誤差反向傳播(BP)的人工神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)方法(attention gated reinforcement learning，AGREL)，和基于徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)方法(quantized attention gated reinforcementlearning，QAGKRL)，相比于AGREL有陷入局部最小值的缺陷，該方法能實(shí)

4、現(xiàn)非線性神經(jīng)解碼的全局最優(yōu)解，同時(shí)還利用量化方法壓縮神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)以降低計(jì)算復(fù)雜度。在離線分析中，我們選用了10天的數(shù)據(jù)進(jìn)行比較分析，綜合來看單純分類時(shí)SVM優(yōu)于QAGKRL，QAGKRL優(yōu)于AGREL，但QAGKRL和AGREL不經(jīng)過訓(xùn)練和不需要運(yùn)動數(shù)據(jù)就獲得了和監(jiān)督學(xué)習(xí)方法近似的分類效果，且在樣本一的模型上測試樣本二時(shí)（樣本一二分別對應(yīng)不同兩天的神經(jīng)信號數(shù)據(jù)集），QAGKRL和AGREL分類正確率下降后能迅速恢復(fù)到樣本一測試結(jié)果

5、的水平，而SVM下降到隨機(jī)水平后無法恢復(fù)。在線腦控采用了在線腦機(jī)接口研究中的共享控制方法，引入共享控制參數(shù)來幫助猴子適應(yīng)從手控到腦控的過渡過程，我們發(fā)現(xiàn)強(qiáng)化學(xué)習(xí)方法通過與外部環(huán)境的互適應(yīng)可以獲得比SVM方法更高的在線解碼正確率，且QAGKRL優(yōu)于AGREL，同時(shí)作為比較在我們切斷這種互適應(yīng)關(guān)系后，強(qiáng)化學(xué)習(xí)方法在線解碼正確率降到平均水平以下且低于SVM方法。
　　綜上所述，本文在腦機(jī)接口相關(guān)研究背景下，利用已有資源成功搭建了在線實(shí)驗(yàn)