基于狀態(tài)預測強化學習的移動機器人路徑規(guī)劃研究.pdf

1、隨著機器人技術的發(fā)展，機器人已開始應用到未知環(huán)境，與靜態(tài)已知環(huán)境下的移動機器人路徑規(guī)劃研究相比較，對于動態(tài)未知環(huán)境探索應用問題，環(huán)境的未知性和動態(tài)變化都給機器人路徑規(guī)劃帶來了新的挑戰(zhàn)。由于機器人不具有環(huán)境的先驗知識，移動機器人在環(huán)境探索過程中不可避免的會遇到各式各樣的障礙物，因此，研究具有靈活規(guī)劃和避障功能的移動機器人及其在未知環(huán)境下的路徑規(guī)劃具有重要的現(xiàn)實意義。本文將狀態(tài)預測與強化學習算法相結合，分別對靜態(tài)和動態(tài)障礙物未知環(huán)境下移動機

2、器人的路徑規(guī)劃進行了研究。 文章首先對移動機器人環(huán)境探索中路徑規(guī)劃的研究內(nèi)容進行了綜述，然后對移動機器人環(huán)境探索下路徑規(guī)劃的研究現(xiàn)狀及發(fā)展作了回顧，并對本論文的主要結構進行了概述。 其次，詳細介紹了有關移動機器人環(huán)境探索方面的知識、研究現(xiàn)狀及存在的問題，包括柵格地圖的創(chuàng)建、到達目標點的代價和效用值的計算、目標點的定義及分配策略等問題。然后，就路徑規(guī)劃的方法、傳感器系統(tǒng)及多移動機器人路徑規(guī)劃的沖突消解等相關內(nèi)容作了詳細的闡

3、述。 第三，詳細介紹了強化學習的基本概念、原理、方法、各種算法及研究現(xiàn)狀等問題，然后從單個機器人在靜態(tài)障礙物環(huán)境中的路徑規(guī)劃入手，以Q強化學習算法為基礎，通過合理劃分狀態(tài)空間與動作空間，設計強化函數(shù)，描述了該算法在路徑規(guī)劃中的具體應用。 第四，將強化學習算法與“預測”的思想相結合用于單個機器人在動態(tài)環(huán)境下的路徑規(guī)劃，解決了針對規(guī)則運動障礙物和同時存在靜態(tài)、動態(tài)障礙物兩種環(huán)境的避障問題。考慮到機器人前面每一步的決策對最后的

4、成功或失敗都有影響，所以在算法中引入資格跡(Eligibility trace)技術，采用改進的Q學習算法實現(xiàn)控制。 第五，借用人類在動態(tài)復雜環(huán)境下確定自己下一步行動的預測機制思想，本文將狀態(tài)預測的方法與強化學習相結合，用于多移動機器人系統(tǒng)環(huán)境探索下的路徑規(guī)劃。較以往單純使用強化學習方法實現(xiàn)的路徑規(guī)劃，本文的方法更加合理的實現(xiàn)了機器人之間的避碰，并通過預測函數(shù)降低群體強化學習空間維數(shù)、加快了群體強化學習算法的收斂速度。