多移動機器人運動控制策略的強化學習研究.pdf

1、多移動機器人是機器人研究的主要內(nèi)容之一，路徑規(guī)劃、運動控制是移動機器人完成各種任務的關(guān)鍵。采用機器學習特別是強化學習方法實現(xiàn)多機器人環(huán)境中路徑規(guī)劃和運動控制，是近年來機器人研究的熱點。本論文研究了多機器人環(huán)境中運動控制策略的強化學習，本文的研究工作主要從四個方面展開：動態(tài)環(huán)境中的建模規(guī)劃、多障礙環(huán)境中的運動控制策略學習和優(yōu)化、強化學習方法的改進研究、基于多機器人仿真實驗平臺的策略強化學習研究。 在動態(tài)環(huán)境中的機器人控制研究中，提

2、出了一種基于模糊概念和可能性理論的環(huán)境建模方法，在此基礎(chǔ)上進行模糊決策，有效的實現(xiàn)動態(tài)運動控制，獲得高效的實時、避障規(guī)劃效果。 在多障礙環(huán)境中的移動機器人路徑規(guī)劃方面，提出了人工勢場法和蟻群優(yōu)化算法相結(jié)合的路徑規(guī)劃方法，將人工勢場作為先驗知識，對蟻群優(yōu)化算法進行初始化，和已有的蟻群路徑規(guī)劃算法相比，顯著提高了規(guī)劃速度。 在對強化學習方法的改進方面，針對傳統(tǒng)算法在大狀態(tài)空間中學習效率低的問題，提出針對模糊狀態(tài)的強化學習算法

3、(FSRL)，并基于模糊狀態(tài)實現(xiàn)離散狀態(tài)空間中的多尺度學習；考察蟻群優(yōu)化算法的狀態(tài)相關(guān)性特點，在時間學習尺度上對傳統(tǒng)算法進行改進，提出蟻群強化學習算法(RAL)和延遲優(yōu)化學習算法(DORL)；并應用于多障礙環(huán)境路徑規(guī)劃，和基于傳統(tǒng)強化學習的路徑規(guī)劃方法相比，顯著提高了規(guī)劃性能。 根據(jù)實際應用時環(huán)境狀態(tài)的不確定性、學習過程中策略的不確定性，在隨機變量熵的概念下，提出強化學習中的決策熵，來定量度量學習過程中策略的不確定性(即策略收斂