基于近似動(dòng)態(tài)規(guī)劃的迭代控制研究及應(yīng)用.pdf

1、近似動(dòng)態(tài)規(guī)劃已經(jīng)成為求解優(yōu)化控制問題的一種有效方法，是機(jī)器學(xué)習(xí)和優(yōu)化控制領(lǐng)域的一個(gè)熱門研究方向。近些年來，前人的研究主要是針對(duì)離散狀態(tài)空間問題，而實(shí)際工業(yè)生產(chǎn)中往往遇到的是大規(guī)模、連續(xù)的狀態(tài)空間問題，對(duì)于這些問題的求解，現(xiàn)有的算法研究還沒有得出較好的結(jié)果并且算法的學(xué)習(xí)效率不高。因此論文研究了如何進(jìn)一步改進(jìn)近似動(dòng)態(tài)規(guī)劃算法，改善該算法的學(xué)習(xí)控制性能。
　　我們先是研究如何通過神經(jīng)網(wǎng)絡(luò)來辨識(shí)建模，針對(duì)航煤干點(diǎn)軟測量問題，我們建立了部分

2、最小二乘(PLS)、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(RBFN)和PLS-RBFN三個(gè)軟測量子模型，通過主元分析法把三個(gè)子模型線性加權(quán)，建立航煤干點(diǎn)混合軟測量預(yù)測模型，從而驗(yàn)證了神經(jīng)網(wǎng)絡(luò)建模的可行性，為獲取改進(jìn)近似動(dòng)態(tài)規(guī)劃算法所需要的模型信息提供了思路。
　　目前研究的近似動(dòng)態(tài)規(guī)劃算法中評(píng)價(jià)網(wǎng)絡(luò)通常采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)存在著估計(jì)精度不夠和經(jīng)驗(yàn)設(shè)置參數(shù)不足的缺點(diǎn)。我們?cè)谧钚《薚D（Temporal Differences）學(xué)習(xí)算法的基礎(chǔ)上，

3、分別采用RLSTD(0)、RLSTD(λ)、TDC(TD with gradient correction)算法和LSTDC(Least squarestemporal difference with gradient correction)算法代替對(duì)偶啟發(fā)式動(dòng)態(tài)規(guī)劃（Dual Heuristic Programming，DHP）算法中評(píng)價(jià)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，從而推導(dǎo)出了RLSTD(0)-DHP算法、RLSTD(λ)-DHP算法和本文改

4、進(jìn)的TDC-DHP算法、LSTDC-DHP算法，這樣我們改進(jìn)了近似動(dòng)態(tài)規(guī)劃算法中評(píng)價(jià)網(wǎng)絡(luò)估計(jì)值函數(shù)的逼近方式，優(yōu)化了權(quán)值更新過程，提高了算法的學(xué)習(xí)控制性能。
　　為了驗(yàn)證所推導(dǎo)改進(jìn)近似動(dòng)態(tài)規(guī)劃的有效性，我們對(duì)乙醇生產(chǎn)間歇過程這個(gè)被控對(duì)象進(jìn)行迭代控制應(yīng)用研究。我們給出了RLSTD(0)-DHP算法、RLSTD(λ)-DHP算法和本文改進(jìn)的TDC-DHP算法、LSTDC-DHP算法這四種算法的基本算法流程。在生物發(fā)酵間歇過程進(jìn)行迭代控