強(qiáng)化學(xué)習(xí)及其在機(jī)器人系統(tǒng)中的應(yīng)用研究.pdf

1、強(qiáng)化學(xué)習(xí)(RL:Reinforcement Learning),又稱增強(qiáng)學(xué)習(xí)或再勵(lì)學(xué)習(xí),是一種重要的機(jī)器學(xué)習(xí)方法,是近幾年來智能控制和人工智能領(lǐng)域的研究熱點(diǎn)之一。在各種學(xué)習(xí)方法中,強(qiáng)化學(xué)習(xí)具有較強(qiáng)的在線自適應(yīng)性和對復(fù)雜系統(tǒng)的自學(xué)能力,它在與環(huán)境的交互中,通過試探式的學(xué)習(xí)收斂到最優(yōu)的控制策略,這種學(xué)習(xí)機(jī)制已經(jīng)在非線性控制、人工智能復(fù)雜問題求解、機(jī)器人控制、優(yōu)化與調(diào)度以及多agent系統(tǒng)中有成功應(yīng)用。然而,由于各種系統(tǒng)的復(fù)雜性和不確定性的限

2、制,強(qiáng)化學(xué)習(xí)的研究中還存在一些難以解決的問題。如何結(jié)合相關(guān)的知識表示和計(jì)算智能技術(shù),設(shè)計(jì)合適的學(xué)習(xí)算法和控制結(jié)構(gòu),是實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)方法廣泛應(yīng)用的關(guān)鍵。目前的強(qiáng)化學(xué)習(xí)研究主要都是針對小規(guī)模、離散的狀態(tài)和動(dòng)作空間,對于在大規(guī)模、連續(xù)的狀態(tài)和動(dòng)作空間下的學(xué)習(xí)控制還是亟待解決的難題。本文針對大規(guī)模、連續(xù)的狀態(tài)和動(dòng)作空間下的強(qiáng)化學(xué)習(xí)理論、算法及應(yīng)用進(jìn)行研究,因此具有重要的理論意義和應(yīng)用價(jià)值。
　　 本文在收集了國內(nèi)外相關(guān)的文獻(xiàn)之后,對其進(jìn)行

3、充分的分析和綜合。在此基礎(chǔ)上,對強(qiáng)化學(xué)習(xí)算法及其在機(jī)器人系統(tǒng)中的應(yīng)用進(jìn)行了較深入的研究。主要研究工作如下:
　　 (1)基于遞推最小二乘法的多步時(shí)序差分學(xué)習(xí)針對強(qiáng)化學(xué)習(xí)過程收斂速度緩慢的問題,提出了基于遞推最小二乘法的多步時(shí)序差分學(xué)習(xí)(RLS—TD(λ))算法。證明了在滿足一定條件下,該算法的權(quán)值將以概率1收斂到唯一解,并且得出和證明了值函數(shù)估計(jì)值的誤差應(yīng)滿足的關(guān)系式。迷宮游戲的仿真實(shí)驗(yàn)表明:與傳統(tǒng)強(qiáng)化學(xué)習(xí)算法相比,RLS-TD

4、(λ)算法實(shí)現(xiàn)了在線、遞推式的學(xué)習(xí),具有計(jì)算量小的優(yōu)點(diǎn)。
　　 (2)基于RBF神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)針對基本Actor-Critic學(xué)習(xí)泛化能力不強(qiáng)的問題,提出了一種基于RBF網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)算法。證明了該算法在滿足一定條件下將以概率1收斂到某矩陣方程的唯一解。該算法通過Actor和Critic共享RBF網(wǎng)絡(luò),根據(jù)任務(wù)復(fù)雜度和學(xué)習(xí)進(jìn)度進(jìn)行實(shí)時(shí)的在線學(xué)習(xí)。基于該算法,設(shè)計(jì)了一種具有強(qiáng)化學(xué)習(xí)機(jī)制的自適應(yīng)PID(AC-PID)控制器設(shè)計(jì)方

5、法,該方法可以解決傳統(tǒng)PID(T-PID)控制器不易在線實(shí)時(shí)整定參數(shù)的不足。仿真實(shí)驗(yàn)表明,該算法具有更好的學(xué)習(xí)泛化能力。
　　 (3)基于探索度的改進(jìn)型模糊Sarsa學(xué)習(xí)針對強(qiáng)化學(xué)習(xí)中探索和利用之間難以平衡的問題,在已有的模糊Sarsa學(xué)習(xí)(FSL)算法基礎(chǔ)上,首次提出了一種基于探索度的改進(jìn)型模糊Sarsa學(xué)習(xí)(IFSL)算法,證明了IFSL算法中可調(diào)節(jié)的權(quán)向量存在平衡不動(dòng)點(diǎn)。該算法通過增加自適應(yīng)學(xué)習(xí)率產(chǎn)生器和模糊平衡器來控制探

6、索和利用的程度,以提高學(xué)習(xí)性能。小車爬山問題的仿真實(shí)驗(yàn)結(jié)果表明,該算法加快了系統(tǒng)的學(xué)習(xí)收斂速度,具有更優(yōu)的學(xué)習(xí)性能。
　　 (4)基于蟻群優(yōu)化的變學(xué)習(xí)率模糊Sarsa學(xué)習(xí)針對模糊Sarsa學(xué)習(xí)中學(xué)習(xí)因子優(yōu)化調(diào)整的問題,提出了一種基于蟻群優(yōu)化的變學(xué)習(xí)率模糊Sarsa學(xué)習(xí)(ACO-FSL)算法。該算法運(yùn)用蟻群優(yōu)化中的信息素水平更新規(guī)律來自動(dòng)調(diào)節(jié)學(xué)習(xí)率,把模糊神經(jīng)網(wǎng)絡(luò)中模糊推理過程看作是螞蟻覓食的過程,構(gòu)造相應(yīng)的信息素矩陣,從而實(shí)現(xiàn)最

7、優(yōu)策略下行為動(dòng)作的選擇。小車爬山與卡車倒車問題的仿真實(shí)驗(yàn)表明:ACO-FSL算法比FSL算法具有更優(yōu)的學(xué)習(xí)性能。
　　 (5)強(qiáng)化學(xué)習(xí)在移動(dòng)機(jī)器人路徑規(guī)劃中的應(yīng)用詳細(xì)探討了ACO-FSL算法在移動(dòng)機(jī)器人路徑規(guī)劃中的應(yīng)用,給出了一種加權(quán)回報(bào)函數(shù)的設(shè)計(jì)方法,實(shí)現(xiàn)了對未知環(huán)境狀態(tài)空間的動(dòng)態(tài)建立,有效克服了移動(dòng)機(jī)器人在路徑規(guī)劃時(shí)對全局環(huán)境信息或動(dòng)態(tài)障礙物的運(yùn)動(dòng)信息的依賴性。仿真實(shí)驗(yàn)表明,ACO-FSL算法在學(xué)習(xí)性能和計(jì)算時(shí)間方面要優(yōu)于I