連續(xù)時(shí)間線性隨機(jī)Markovian跳變系統(tǒng)的在線自適應(yīng)優(yōu)化控制算法研究.pdf

1、本文研究了一類連續(xù)時(shí)間線性隨機(jī)Markovian跳變系統(tǒng)的在線自適應(yīng)優(yōu)化控制器設(shè)計(jì)算法。并提出了一種新的在線解耦技術(shù)，即“子系統(tǒng)轉(zhuǎn)換”，用于分離Markovian跳變系統(tǒng)中子系統(tǒng)之間的耦合關(guān)系，進(jìn)而將這種耦合關(guān)系表示為一個(gè)顯性的迭代數(shù)學(xué)表達(dá)式?；诜e分強(qiáng)化學(xué)習(xí)的方法（即，近似動(dòng)態(tài)規(guī)劃的手段），本文提出了兩種新的策略迭代算法用于求解連續(xù)時(shí)間線性隨機(jī)Markovian跳變系統(tǒng)的H2/H∞優(yōu)化控制器設(shè)計(jì)問題。需要指出的是，這兩種新的策略迭代算

2、法是基于“兩步迭代”的結(jié)構(gòu)，即“策略評(píng)判”和“策略改進(jìn)”。
　　本文所給出的在線策略迭代算法的最大優(yōu)勢(shì)在于，求解對(duì)應(yīng)優(yōu)化控制器時(shí)，僅需要利用系統(tǒng)的部分動(dòng)態(tài)信息，而不需要系統(tǒng)的完整動(dòng)態(tài)信息。而且，與現(xiàn)有的離線計(jì)算迭代算法相比，本文中所給出的新的在線策略迭代算法具有更快的收斂速度。本文的主要工作和貢獻(xiàn)具體體現(xiàn)在如下五個(gè)方面:
　　1.相比較于一般的連續(xù)時(shí)間線性或者非線性系統(tǒng)，連續(xù)時(shí)間線性隨機(jī)Markovian跳變系統(tǒng)有兩個(gè)組成部

3、分，即跳變的“模態(tài)”和連續(xù)的“狀態(tài)”，其中，跳變的“模態(tài)”取決于有限狀態(tài)Markov鏈，而連續(xù)的“狀態(tài)”則由一個(gè)微分方程所決定。連續(xù)時(shí)間線性隨機(jī)Markovian跳變系統(tǒng)的變量不僅與連續(xù)時(shí)間域有關(guān)，還依賴于所定義的概率空間。所以，已有的針對(duì)連續(xù)時(shí)間線性或者非線性系統(tǒng)的“近似動(dòng)態(tài)規(guī)劃”方法，就不可能完全適用?？紤]到系統(tǒng)動(dòng)態(tài)信息不完全獲知的前提下，求解得到其最優(yōu)控制器，本文提出了一種新的解耦技術(shù)，即“子系統(tǒng)轉(zhuǎn)換”。借助于“并行算法”，利用“

4、子系統(tǒng)”轉(zhuǎn)換技術(shù)，將Markovian跳變系統(tǒng)之間的耦合關(guān)系被表示為一個(gè)顯性的等式迭代關(guān)系，即“耦合關(guān)系改進(jìn)”。在建立在線自適應(yīng)優(yōu)化控制器設(shè)計(jì)算法的過程中，這個(gè)顯性的迭代等式起到了非常重要的作用。相關(guān)的內(nèi)容見第二章和第四章。
　　2.在第二章中，研究了連續(xù)時(shí)間線性隨機(jī)Markovian跳變系統(tǒng)的在線自適應(yīng)H2優(yōu)化控制器的設(shè)計(jì)算法問題。通過子系統(tǒng)解耦技術(shù)，本章節(jié)將Markovian跳變系統(tǒng)分離為N個(gè)具有耦合關(guān)系的子系統(tǒng)。在已知部分動(dòng)

5、態(tài)信息的前提下，應(yīng)用所給出的在線策略迭代算法求解連續(xù)時(shí)間耦合代數(shù)Riccati方程，并獲得最終的依賴于模態(tài)的控制器增益序列。本章節(jié)不僅證明了算法的收斂性，并通過仿真示例用來驗(yàn)證這個(gè)策略迭代算法的有效性和可行性。
　　3.在第三章中，給出了兩個(gè)計(jì)算迭代算法用來求解耦合的對(duì)策代數(shù)Riccati方程，并求解出連續(xù)時(shí)間線性隨機(jī)Markovian跳變系統(tǒng)的H∞控制器。這兩個(gè)數(shù)值迭代算法都是基于Kleinman迭代的框架提出的。首先，本章節(jié)給

6、出了“直接并行Kleinman迭代算法”，并證明了其收斂性。隨后，通過引入了一個(gè)更廣義的數(shù)值迭代算法，即“廣義并行Kleinman迭代算法”，研究了其四種不同情況的迭代算法。最后，數(shù)值示例驗(yàn)證了這兩個(gè)數(shù)值迭代算法的有效性。
　　4.在第四章中，提出了一種新的在線策略迭代算法，用于求解連續(xù)時(shí)間線性隨機(jī)Markovian跳變系統(tǒng)的H∞優(yōu)化控制問題?；诘谌碌摹爸苯硬⑿蠯leinman迭代算法”，并結(jié)合“子系統(tǒng)轉(zhuǎn)換”手段，將隨機(jī)Mar