SMDP基于性能勢(shì)的異步優(yōu)化算法.pdf

1、隨著社會(huì)和科技的發(fā)展，離散事件動(dòng)態(tài)系統(tǒng)(DEDS)的性能分析和優(yōu)化應(yīng)用已經(jīng)成為控制與系統(tǒng)、管理、計(jì)算機(jī)等學(xué)科交叉領(lǐng)域內(nèi)的一個(gè)前沿研究方向。半馬爾可夫決策過(guò)程(SMDP)作為現(xiàn)實(shí)中一類廣泛的系統(tǒng)模型，可以用來(lái)描述大部分的實(shí)際系統(tǒng)。由于實(shí)際應(yīng)用的需要，SMDP的優(yōu)化控制已經(jīng)成為控制理論界的研究熱點(diǎn)之一。性能勢(shì)理論的完善為SMDP的優(yōu)化控制提供了一個(gè)較為完整的理論框架。 本文主要在性能勢(shì)的基礎(chǔ)上，研究SMDP在緊致行動(dòng)集上的異步優(yōu)化算

2、法，且所有算法是折扣準(zhǔn)則和平均準(zhǔn)則統(tǒng)一的。首先介紹了SMDP在緊致行動(dòng)集上基于無(wú)窮小矩陣Ava的標(biāo)準(zhǔn)數(shù)值迭代，給出算法，并證明其收斂性，另外討論了兩種性能準(zhǔn)則下的異步數(shù)值迭代算法，其中主要介紹Gauss-Seidel迭代和基于樣本軌道仿真的異步數(shù)值迭代。然后基于性能勢(shì)的思想對(duì)有關(guān)的算法進(jìn)行改進(jìn)。以上研究結(jié)果均可適用于連續(xù)時(shí)間馬爾可夫決策過(guò)程(CTMDP)。 傳統(tǒng)的理論計(jì)算優(yōu)化算法優(yōu)化精度高，優(yōu)化速度快，但不能適用于大規(guī)模系統(tǒng)，而

3、基于仿真的優(yōu)化算法，如TD學(xué)習(xí)、NDP優(yōu)化等可以解決理論優(yōu)化算法的問(wèn)題，結(jié)合這兩種方法的特點(diǎn)，本文討論了異步策略迭代的幾種形式，如M步向前策略迭代，基于TD學(xué)習(xí)的M步向前策略迭代，基于NDP學(xué)習(xí)的M步向前策略迭代算法。以上幾種算法均是折扣準(zhǔn)則與平均準(zhǔn)則統(tǒng)一的。 本文用一個(gè)SMDP的數(shù)值實(shí)例來(lái)說(shuō)明相關(guān)優(yōu)化算法的應(yīng)用，比較各種算法的優(yōu)缺點(diǎn)，該結(jié)果可以直接運(yùn)用到連續(xù)時(shí)間馬爾可夫決策過(guò)程中。 在異步優(yōu)化算法的基礎(chǔ)上，文章還介紹了