強化學(xué)習(xí)及其在機器人系統(tǒng)中的應(yīng)用研究.pdf

1、強化學(xué)習(xí)(RL:Reinforcement Learning),又稱增強學(xué)習(xí)或再勵學(xué)習(xí),是一種重要的機器學(xué)習(xí)方法,是近幾年來智能控制和人工智能領(lǐng)域的研究熱點之一。在各種學(xué)習(xí)方法中,強化學(xué)習(xí)具有較強的在線自適應(yīng)性和對復(fù)雜系統(tǒng)的自學(xué)能力,它在與環(huán)境的交互中,通過試探式的學(xué)習(xí)收斂到最優(yōu)的控制策略,這種學(xué)習(xí)機制已經(jīng)在非線性控制、人工智能復(fù)雜問題求解、機器人控制、優(yōu)化與調(diào)度以及多agent系統(tǒng)中有成功應(yīng)用。然而,由于各種系統(tǒng)的復(fù)雜性和不確定性的限

2、制,強化學(xué)習(xí)的研究中還存在一些難以解決的問題。如何結(jié)合相關(guān)的知識表示和計算智能技術(shù),設(shè)計合適的學(xué)習(xí)算法和控制結(jié)構(gòu),是實現(xiàn)強化學(xué)習(xí)方法廣泛應(yīng)用的關(guān)鍵。目前的強化學(xué)習(xí)研究主要都是針對小規(guī)模、離散的狀態(tài)和動作空間,對于在大規(guī)模、連續(xù)的狀態(tài)和動作空間下的學(xué)習(xí)控制還是亟待解決的難題。本文針對大規(guī)模、連續(xù)的狀態(tài)和動作空間下的強化學(xué)習(xí)理論、算法及應(yīng)用進行研究,因此具有重要的理論意義和應(yīng)用價值。
　　 本文在收集了國內(nèi)外相關(guān)的文獻之后,對其進行

3、充分的分析和綜合。在此基礎(chǔ)上,對強化學(xué)習(xí)算法及其在機器人系統(tǒng)中的應(yīng)用進行了較深入的研究。主要研究工作如下:
　　 (1)基于遞推最小二乘法的多步時序差分學(xué)習(xí)針對強化學(xué)習(xí)過程收斂速度緩慢的問題,提出了基于遞推最小二乘法的多步時序差分學(xué)習(xí)(RLS—TD(λ))算法。證明了在滿足一定條件下,該算法的權(quán)值將以概率1收斂到唯一解,并且得出和證明了值函數(shù)估計值的誤差應(yīng)滿足的關(guān)系式。迷宮游戲的仿真實驗表明:與傳統(tǒng)強化學(xué)習(xí)算法相比,RLS-TD

4、(λ)算法實現(xiàn)了在線、遞推式的學(xué)習(xí),具有計算量小的優(yōu)點。
　　 (2)基于RBF神經(jīng)網(wǎng)絡(luò)的強化學(xué)習(xí)針對基本Actor-Critic學(xué)習(xí)泛化能力不強的問題,提出了一種基于RBF網(wǎng)絡(luò)的強化學(xué)習(xí)算法。證明了該算法在滿足一定條件下將以概率1收斂到某矩陣方程的唯一解。該算法通過Actor和Critic共享RBF網(wǎng)絡(luò),根據(jù)任務(wù)復(fù)雜度和學(xué)習(xí)進度進行實時的在線學(xué)習(xí)?；谠撍惴?設(shè)計了一種具有強化學(xué)習(xí)機制的自適應(yīng)PID(AC-PID)控制器設(shè)計方

5、法,該方法可以解決傳統(tǒng)PID(T-PID)控制器不易在線實時整定參數(shù)的不足。仿真實驗表明,該算法具有更好的學(xué)習(xí)泛化能力。
　　 (3)基于探索度的改進型模糊Sarsa學(xué)習(xí)針對強化學(xué)習(xí)中探索和利用之間難以平衡的問題,在已有的模糊Sarsa學(xué)習(xí)(FSL)算法基礎(chǔ)上,首次提出了一種基于探索度的改進型模糊Sarsa學(xué)習(xí)(IFSL)算法,證明了IFSL算法中可調(diào)節(jié)的權(quán)向量存在平衡不動點。該算法通過增加自適應(yīng)學(xué)習(xí)率產(chǎn)生器和模糊平衡器來控制探

6、索和利用的程度,以提高學(xué)習(xí)性能。小車爬山問題的仿真實驗結(jié)果表明,該算法加快了系統(tǒng)的學(xué)習(xí)收斂速度,具有更優(yōu)的學(xué)習(xí)性能。
　　 (4)基于蟻群優(yōu)化的變學(xué)習(xí)率模糊Sarsa學(xué)習(xí)針對模糊Sarsa學(xué)習(xí)中學(xué)習(xí)因子優(yōu)化調(diào)整的問題,提出了一種基于蟻群優(yōu)化的變學(xué)習(xí)率模糊Sarsa學(xué)習(xí)(ACO-FSL)算法。該算法運用蟻群優(yōu)化中的信息素水平更新規(guī)律來自動調(diào)節(jié)學(xué)習(xí)率,把模糊神經(jīng)網(wǎng)絡(luò)中模糊推理過程看作是螞蟻覓食的過程,構(gòu)造相應(yīng)的信息素矩陣,從而實現(xiàn)最

7、優(yōu)策略下行為動作的選擇。小車爬山與卡車倒車問題的仿真實驗表明:ACO-FSL算法比FSL算法具有更優(yōu)的學(xué)習(xí)性能。
　　 (5)強化學(xué)習(xí)在移動機器人路徑規(guī)劃中的應(yīng)用詳細探討了ACO-FSL算法在移動機器人路徑規(guī)劃中的應(yīng)用,給出了一種加權(quán)回報函數(shù)的設(shè)計方法,實現(xiàn)了對未知環(huán)境狀態(tài)空間的動態(tài)建立,有效克服了移動機器人在路徑規(guī)劃時對全局環(huán)境信息或動態(tài)障礙物的運動信息的依賴性。仿真實驗表明,ACO-FSL算法在學(xué)習(xí)性能和計算時間方面要優(yōu)于I