基于Q學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的雙足機(jī)器人控制.pdf

1、被動(dòng)動(dòng)力學(xué)理論認(rèn)為雙足行走是雙足機(jī)器人的固有特性，可以充分利用機(jī)器人自身的動(dòng)力學(xué)特性提高能效。由于機(jī)器人結(jié)構(gòu)的多樣性，行走時(shí)的動(dòng)力學(xué)特性存在差異，很難把人類或者其他機(jī)器人的軌跡作為參考步態(tài)。而Q學(xué)習(xí)在不斷試錯(cuò)中積累經(jīng)驗(yàn)，使機(jī)器人可以充分利用自身的動(dòng)力學(xué)特性，在和環(huán)境的交互中自主學(xué)習(xí)行走。雙足步行是一個(gè)連續(xù)變化的過程(除了碰撞瞬間)，本文針對(duì)雙足機(jī)器人行走控制進(jìn)行研究，采用基于神經(jīng)網(wǎng)絡(luò)的Q學(xué)習(xí)控制器，實(shí)現(xiàn)連續(xù)狀態(tài)的學(xué)習(xí)，并開發(fā)動(dòng)力學(xué)仿真平

2、臺(tái)和機(jī)器人實(shí)驗(yàn)平臺(tái)。本文的主要工作如下：
　　 1、在雙足行走過程中機(jī)器人的狀態(tài)基本上是連續(xù)變化的(除了碰撞瞬間)。為了實(shí)現(xiàn)對(duì)連續(xù)狀態(tài)的控制，本文采用一種基于神經(jīng)網(wǎng)絡(luò)的Q學(xué)習(xí)控制方法。該方法以多輸入多輸出BP神經(jīng)網(wǎng)絡(luò)取代離散的Q值表，計(jì)算連續(xù)狀態(tài)對(duì)應(yīng)的Q值。Q學(xué)習(xí)利用資格跡來解決時(shí)間信度分配問題，將資格跡思想融入梯度下降算法中，實(shí)現(xiàn)了連續(xù)狀態(tài)的Q學(xué)習(xí)控制。為降低神經(jīng)網(wǎng)絡(luò)的維數(shù)，本文提出一種倒立擺位姿-動(dòng)能模型。采用ε衰減貪婪算法

3、來降低Q學(xué)習(xí)陷入局部最小的概率。仿真得到了穩(wěn)定、自然和周期的動(dòng)態(tài)步態(tài)，驗(yàn)證了算法的有效性。
　　 2、為簡(jiǎn)化操作，提高研究效率，開發(fā)適合雙足行走研究的仿真平臺(tái)。采用ADAMS建立參數(shù)化模型庫，其中包含2連桿、3連桿、4連桿、5連桿和7連桿5種模型。通過自定義菜單和界面可進(jìn)行模型的加載、初始化、參數(shù)修改和結(jié)果顯示等操作。利用ADAMS和MATLAB的接口模塊ADAMS/Controls，實(shí)現(xiàn)基于ADAMS和MATLAB的雙足步行聯(lián)

4、合仿真。仿真實(shí)驗(yàn)表明該仿真平臺(tái)避開了復(fù)雜的建模過程，簡(jiǎn)化了繁瑣的操作，明顯地提高了仿真效率。
　　 3、基于被動(dòng)動(dòng)力學(xué)控制理論，試制8自由度欠驅(qū)動(dòng)2D雙足行走機(jī)構(gòu)。膝關(guān)節(jié)是被動(dòng)關(guān)節(jié)，具有鎖緊機(jī)構(gòu)。髖關(guān)節(jié)和踝關(guān)節(jié)是主動(dòng)關(guān)節(jié)，采用一個(gè)直流伺服電機(jī)和一個(gè)虛擬的柔性執(zhí)行機(jī)構(gòu)驅(qū)動(dòng)。實(shí)驗(yàn)平臺(tái)采用典型的集中式控制系統(tǒng)，使用CAN總線實(shí)現(xiàn)快速通信。實(shí)時(shí)控制軟件具有初始化、周期控制、數(shù)據(jù)采集、通訊、數(shù)據(jù)保存、故障處理、結(jié)束處理等功能。本文設(shè)計(jì)的雙