基于增強學(xué)習(xí)的優(yōu)化控制方法及其在移動機器人中的應(yīng)用.pdf

1、與傳統(tǒng)的監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)不同，增強學(xué)習(xí)（Reinforcement Learning，RL）通過與環(huán)境進行交互來獲得評價性的反饋信號，利用值函數(shù)或者策略的估計來實現(xiàn)序貫決策過程的優(yōu)化。為了克服大規(guī)模狀態(tài)與行為空間帶來的計算量巨大的“維數(shù)災(zāi)難”，人們通常將值函數(shù)逼近技術(shù)與增強學(xué)習(xí)算法相結(jié)合來實現(xiàn)對大規(guī)?？臻g優(yōu)化控制問題的求解。同時，由于增強學(xué)習(xí)具有對模型信息依賴少、能夠?qū)崿F(xiàn)控制器的自適應(yīng)優(yōu)化等特點，它在移動機器人路徑跟蹤控制方面的應(yīng)用

2、也受到廣泛關(guān)注。本文在國家自然科學(xué)基金項目的支持下，對基于增強學(xué)習(xí)的優(yōu)化控制方法進行了深入的研究，同時通過將改進的增強學(xué)習(xí)方法與經(jīng)典控制算法相結(jié)合來實現(xiàn)移動機器人的高精度路徑跟蹤控制。本文取得的研究成果包括：
　　1.對帶有梯度修正項的線性時域差值學(xué)習(xí)算法（linear TD with gradient correction，TDC）進行了深入研究，通過與控制算法相結(jié)合，使其應(yīng)用范圍從解決學(xué)習(xí)預(yù)測問題拓展到了學(xué)習(xí)控制問題，并提出了

3、兩種基于TDC的改進優(yōu)化控制算法——改進Q-Learning算法和改進HDP算法。由于TDC算法是一種嚴格意義的隨機梯度下降法，因此它能夠保證改進Q-Learning在進行離策略（off-policy）學(xué)習(xí)時的收斂性，并提高算法控制效果。通過對Mountain-Car和倒立擺的仿真研究，分別驗證了兩種改進算法在解決離散動作和連續(xù)動作優(yōu)化決策問題時的有效性，并且討論了不同學(xué)習(xí)步長參數(shù)對算法控制效果的影響。
　　2.為了克服函數(shù)逼近器

4、中基函數(shù)選擇的困難，本文提出了一種基于流形表示的基函數(shù)自動構(gòu)造方法并將其用于DHP算法評價器網(wǎng)絡(luò)的構(gòu)建中，從而給出了基于測地線拉普拉斯特征映射的對偶啟發(fā)式規(guī)劃算法（Dual Heuristic Programming based on Geodesic Laplacian Eigenmaps，GLEM-DHP）。文中分別利用了板-球和倒立擺兩種典型的非線性系統(tǒng)對算法進行了測試，并通過將控制結(jié)果與其它算法相比較，體現(xiàn)了基于GLEM算法的基

5、函數(shù)自動構(gòu)造技術(shù)對于值函數(shù)逼近效果的改善，同時也展現(xiàn)了GLEM-DHP算法優(yōu)良的控制性能。
　　3.針對傳統(tǒng)PID算法中參數(shù)選擇困難的問題，本文結(jié)合了DHP算法的學(xué)習(xí)優(yōu)化能力，提出了一種自學(xué)習(xí)PID控制算法——DHP-PID，并用于解決移動機器人的路徑跟蹤控制問題。DHP算法能夠根據(jù)參考軌跡的變化以及系統(tǒng)當前狀態(tài)進行在線學(xué)習(xí)，并通過DHP結(jié)構(gòu)中的執(zhí)行器網(wǎng)絡(luò)輸出優(yōu)化后的PID參數(shù)，從而達到減小跟蹤誤差的目的。文中分別利用多種的參考軌

6、跡對算法進行了測試，仿真結(jié)果均顯示出 DHP-PID算法具有比PID算法更好的跟蹤效果。本文還進一步利用MobileSim仿真平臺對DHP-PID算法得到的控制器進行了Pioneer3-AT型移動機器人的路徑跟蹤控制仿真，并得到了較好的控制效果。
　　4.論文在仿真結(jié)果的基礎(chǔ)之上對算法進行了實物實驗。利用GLEM-DHP算法學(xué)得的控制器在Googol倒立擺實驗平臺上進行在線的實時控制實驗，不僅驗證了算法的現(xiàn)實可行性與有效性，更為增