基于強化學習的植入式腦機接口神經信息解碼：算法設計及應用.pdf

1、腦機接口直接將大腦的運動信息解析成外部設備的控制指令，實現(xiàn)了大腦與外界環(huán)境的直接交互，為殘障患者重建運動功能提供了一種新的途徑。目前主要的神經解碼算法分為基于監(jiān)督學習和基于強化學習兩大類。相比于基于監(jiān)督學習的解碼模型，基于強化學習的神經解碼的特點在于:(1)無需實際的用戶肢體行為數(shù)據(jù);(2)允許用戶通過試錯的方式學會動態(tài)地操控外部設備。這類解碼算法可以追蹤到時變的神經活動，并實現(xiàn)用戶和解碼器的相互適應，能夠保持長期穩(wěn)定的解碼性能。目前，

2、該方向的研究主要集中在離散、簡單的任務上。但是，腦機接口任務日益復雜多樣，傳統(tǒng)的強化學習算法難以滿足其解碼要求，而尚無針對復雜任務的強化學習解碼算法的相關研究報道。
　　本文研究基于強化學習的神經解碼關鍵技術，聚焦于連續(xù)、復雜任務中狀態(tài)-動作空間大而探索困難，時間信用分配導致學習速度慢，以及神經信號中混有噪聲導致自適應解碼性能降低等存在的難點問題。針對上述挑戰(zhàn)，本文采用高效的強化學習算法探索復雜的神經狀態(tài)-動作空間，重建連續(xù)的運動

3、軌跡;結合核自適應濾波器理論，設計新的解碼算法實現(xiàn)非線性解碼的全局最優(yōu)解;引入相關熵抑制噪聲對自適應解碼性能的影響，從而實現(xiàn)魯棒、穩(wěn)定的神經解碼。本文的主要研究內容及創(chuàng)新點如下:
　　1.針對復雜神經狀態(tài)-動作空間中探索困難的問題，本文提出采用attentiongated reinforcement learning(AGREL)算法預測center-out任務中連續(xù)的2D搖桿軌跡。AGREL利用即時獎賞更新參數(shù)而不易受初始值影響

4、，以及softmax策略依據(jù)概率選擇最優(yōu)與次優(yōu)動作以避免解碼性能的波動。與傳統(tǒng)的Q學習算法相比，AGREL將預測軌跡和真實軌跡之間的相關系數(shù)提高了5.88％，均方誤差則降低了41.66％，平均總目標到達率提高了28.01％。此外，相比于靜態(tài)模型，自適應的AGREL保持多數(shù)據(jù)段的解碼精度在85％以上，延長了腦機接口系統(tǒng)的使用時間。
　　2.針對以往方法只分配時間信用而導致訓練時間過長的問題，本文提出空間信用分配，實現(xiàn)在多物體的復雜環(huán)

5、境中區(qū)分潛在目標。結合AGREL高效的誤差信號機制與核自適應濾波器理論，本文首次設計了quantized attention gatedreinforcement learning(QAGKRL)算法，實現(xiàn)非線性神經解碼的全局最優(yōu)解。該算法還利用量化方法壓縮神經網(wǎng)絡的拓撲結構以降低計算復雜度。與AGREL相比，QAGKRL在避障任務中的平均成功率顯著提高，保證了解碼的準確性和穩(wěn)定性。
　　3.針對由神經信號中噪聲降低解碼精度的問題

6、，本文引入最大相關熵準則作為AGREL和QAGKRL的優(yōu)化函數(shù)，能夠降低解碼模型對異常值等噪聲的敏感性，從而提高解碼性能?；谧畲笙嚓P熵準則的AGREL和QAGKRL在避障任務中的平均總成功率分別提高了12.56％和6.08％。
　　綜上所述，本文嘗試解決了基于強化學習的腦機接口中連續(xù)、復雜任務的神經狀態(tài)-動作空間探索困難問題、空間信用分配問題以及神經信號的降噪問題。本文深入探索了一系列基于強化學習的解碼算法，并應用于復雜多樣的任