基于模糊強(qiáng)化學(xué)習(xí)的柔性結(jié)構(gòu)控制方法研究.pdf

1、隨著深空探測(cè)、射電天文的不斷發(fā)展，大型射電望遠(yuǎn)鏡被廣泛應(yīng)用。新一代射電望遠(yuǎn)鏡的口徑也越來(lái)越大以獲得更好的觀測(cè)性能。但由于大天線的柔性、外界干擾等不利因素的存在，對(duì)天線控制系統(tǒng)提出了更高的指向精度、跟蹤精度及魯棒性等要求。本文以大天線控制問題為研究背景，將人工智能領(lǐng)域的強(qiáng)化學(xué)習(xí)作為柔性結(jié)構(gòu)控制方法，在保證一定跟蹤精度的同時(shí)，抑制柔性振動(dòng)。
　　但是，傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法適于處理小規(guī)模的離散狀態(tài)或離散動(dòng)作學(xué)習(xí)任務(wù)而不能求解連續(xù)狀態(tài)空間和

2、連續(xù)動(dòng)作空間的問題。針對(duì)此不足，本文把模糊推理作為函數(shù)逼近器引入到強(qiáng)化學(xué)習(xí)中，利用模糊推理的廣泛逼近性，使得提出的模糊強(qiáng)化學(xué)習(xí)算法能夠較好地處理大規(guī)?；蜻B續(xù)空間問題。與此同時(shí)，將基于模糊強(qiáng)化學(xué)習(xí)算法的柔性結(jié)構(gòu)控制應(yīng)用于連續(xù)空間柔性尺模型的控制中進(jìn)行驗(yàn)證。本文主要工作如下：
　　(1)針對(duì)傳統(tǒng)Q值查找表型強(qiáng)化學(xué)習(xí)算法在處理連續(xù)空間學(xué)習(xí)任務(wù)時(shí)所面臨的“維數(shù)難”以及輸出動(dòng)作策略不連續(xù)問題，提出基于一型模糊推理的強(qiáng)化學(xué)習(xí)算法。該算法首先將

3、連續(xù)狀態(tài)空間進(jìn)行模糊劃分；其次，以狀態(tài)為模糊規(guī)則前件輸入、動(dòng)作及相應(yīng)的Q值函數(shù)分量為規(guī)則后件輸出構(gòu)建模糊規(guī)則，通過模糊推理獲得組合連續(xù)動(dòng)作；最后由強(qiáng)化學(xué)習(xí)時(shí)間差分誤差采用梯度下降法在線反向調(diào)節(jié)后件參數(shù)。
　　(2)針對(duì)基于一型模糊推理的強(qiáng)化學(xué)習(xí)存在的魯棒局限性，提出基于二型模糊推理的強(qiáng)化學(xué)習(xí)算法。以具有三維特性、能夠更加貼切描述實(shí)際不確定性的二型模糊集合為基礎(chǔ)的二型模糊系統(tǒng)，在處理干擾等不確定性問題時(shí)其相對(duì)于一型表現(xiàn)出更強(qiáng)的處理系

4、統(tǒng)不確定性的能力。與此同時(shí)，考慮使用作為二型模糊集合特例的區(qū)間二型模糊集，結(jié)合其能夠極大簡(jiǎn)化廣義上二型模糊集合的運(yùn)算量的優(yōu)勢(shì)，最終設(shè)計(jì)出一種基于區(qū)間二型模糊推理的強(qiáng)化學(xué)習(xí)算法。該算法在實(shí)現(xiàn)較好處理連續(xù)空間問題的基礎(chǔ)上，對(duì)噪聲干擾的魯棒性得到了進(jìn)一步的加強(qiáng)。
　　(3)通過對(duì)柔性尺模型的仿真控制驗(yàn)證本文所提兩種模糊強(qiáng)化學(xué)習(xí)算法。結(jié)果表明，基于一型模糊強(qiáng)化學(xué)習(xí)算法的柔性結(jié)構(gòu)控制，相比于基于查找表型強(qiáng)化學(xué)習(xí)算法的柔性結(jié)構(gòu)控制，其在保證一