基于模糊強化學(xué)習(xí)的柔性結(jié)構(gòu)控制方法研究.pdf

1、隨著深空探測、射電天文的不斷發(fā)展，大型射電望遠(yuǎn)鏡被廣泛應(yīng)用。新一代射電望遠(yuǎn)鏡的口徑也越來越大以獲得更好的觀測性能。但由于大天線的柔性、外界干擾等不利因素的存在，對天線控制系統(tǒng)提出了更高的指向精度、跟蹤精度及魯棒性等要求。本文以大天線控制問題為研究背景，將人工智能領(lǐng)域的強化學(xué)習(xí)作為柔性結(jié)構(gòu)控制方法，在保證一定跟蹤精度的同時，抑制柔性振動。
　　但是，傳統(tǒng)的強化學(xué)習(xí)方法適于處理小規(guī)模的離散狀態(tài)或離散動作學(xué)習(xí)任務(wù)而不能求解連續(xù)狀態(tài)空間和

2、連續(xù)動作空間的問題。針對此不足，本文把模糊推理作為函數(shù)逼近器引入到強化學(xué)習(xí)中，利用模糊推理的廣泛逼近性，使得提出的模糊強化學(xué)習(xí)算法能夠較好地處理大規(guī)?；蜻B續(xù)空間問題。與此同時，將基于模糊強化學(xué)習(xí)算法的柔性結(jié)構(gòu)控制應(yīng)用于連續(xù)空間柔性尺模型的控制中進行驗證。本文主要工作如下：
　　(1)針對傳統(tǒng)Q值查找表型強化學(xué)習(xí)算法在處理連續(xù)空間學(xué)習(xí)任務(wù)時所面臨的“維數(shù)難”以及輸出動作策略不連續(xù)問題，提出基于一型模糊推理的強化學(xué)習(xí)算法。該算法首先將

3、連續(xù)狀態(tài)空間進行模糊劃分；其次，以狀態(tài)為模糊規(guī)則前件輸入、動作及相應(yīng)的Q值函數(shù)分量為規(guī)則后件輸出構(gòu)建模糊規(guī)則，通過模糊推理獲得組合連續(xù)動作；最后由強化學(xué)習(xí)時間差分誤差采用梯度下降法在線反向調(diào)節(jié)后件參數(shù)。
　　(2)針對基于一型模糊推理的強化學(xué)習(xí)存在的魯棒局限性，提出基于二型模糊推理的強化學(xué)習(xí)算法。以具有三維特性、能夠更加貼切描述實際不確定性的二型模糊集合為基礎(chǔ)的二型模糊系統(tǒng)，在處理干擾等不確定性問題時其相對于一型表現(xiàn)出更強的處理系

4、統(tǒng)不確定性的能力。與此同時，考慮使用作為二型模糊集合特例的區(qū)間二型模糊集，結(jié)合其能夠極大簡化廣義上二型模糊集合的運算量的優(yōu)勢，最終設(shè)計出一種基于區(qū)間二型模糊推理的強化學(xué)習(xí)算法。該算法在實現(xiàn)較好處理連續(xù)空間問題的基礎(chǔ)上，對噪聲干擾的魯棒性得到了進一步的加強。
　　(3)通過對柔性尺模型的仿真控制驗證本文所提兩種模糊強化學(xué)習(xí)算法。結(jié)果表明，基于一型模糊強化學(xué)習(xí)算法的柔性結(jié)構(gòu)控制，相比于基于查找表型強化學(xué)習(xí)算法的柔性結(jié)構(gòu)控制，其在保證一