部分可觀馬爾科夫決策過(guò)程直接基于觀測(cè)的優(yōu)化方法研究.pdf

1、隨機(jī)動(dòng)態(tài)系統(tǒng)性能優(yōu)化問(wèn)題一直是眾多科學(xué)領(lǐng)域的熱點(diǎn)問(wèn)題。對(duì)于一些狀態(tài)具有馬氏特征的復(fù)雜隨機(jī)動(dòng)態(tài)系統(tǒng)，系統(tǒng)的狀態(tài)往往不可觀，能夠獲得的是與系統(tǒng)狀態(tài)存在一定關(guān)聯(lián)的觀測(cè)量。對(duì)于這一類(lèi)狀態(tài)具有馬氏特征的復(fù)雜隨機(jī)動(dòng)態(tài)系統(tǒng)，Markov決策過(guò)程模型優(yōu)化方法無(wú)法較高效地處理。因此部分可觀Markov決策過(guò)程(POMDPs)作為Markov決策過(guò)程數(shù)學(xué)模型的推廣被提出。部分可觀Markov決策過(guò)程模型可以很好地刻畫(huà)系統(tǒng)狀態(tài)未知的這一類(lèi)系統(tǒng)，具有比Mark

2、ov決策過(guò)程更廣泛的應(yīng)用性。
　　針對(duì)Markov決策過(guò)程性能優(yōu)化問(wèn)題，眾多領(lǐng)域給出了不同的解決方法。近年來(lái)，一種基于靈敏度分析的優(yōu)化方法被提出。該方法為眾多領(lǐng)域的不同優(yōu)化方法的有機(jī)地結(jié)合，形成了以性能勢(shì)理論為基礎(chǔ)，性能靈敏度公式為核心的優(yōu)化方法。目前，對(duì)于部分可觀Markov決策過(guò)程模型，基于系統(tǒng)觀測(cè)的部分可觀Markov決策過(guò)程的性能差分公式和性能導(dǎo)數(shù)公式已經(jīng)被導(dǎo)出。不過(guò)目前給出的靈敏度公式的推導(dǎo)過(guò)程需要滿(mǎn)足不同策略條件下條件

3、穩(wěn)態(tài)概率相同的假設(shè);另外推導(dǎo)過(guò)程中一些參數(shù)和公式還依賴(lài)于系統(tǒng)狀態(tài)。上述兩個(gè)限制導(dǎo)致目前提出的基于觀測(cè)的部分可觀Markov決策過(guò)程的性能靈敏度的優(yōu)化方法只能被應(yīng)用于一些特殊的排隊(duì)系統(tǒng)，不能被推廣到一般的部分可觀Markov決策過(guò)程。
　　本文在目前已給出的部分可觀Markov決策過(guò)程基于性能靈敏度方法基礎(chǔ)上，提出一種新的直接基于觀測(cè)的性能靈敏度優(yōu)化方法。該方法僅依據(jù)于可被獲得的系統(tǒng)觀測(cè)空間。我們將給出僅僅依賴(lài)于觀測(cè)的性能勢(shì)、報(bào)酬函

4、數(shù)等相關(guān)系統(tǒng)參數(shù)的定義。并根據(jù)基于觀測(cè)的性能勢(shì)與傳統(tǒng)性能勢(shì)的關(guān)系，推導(dǎo)出基于觀測(cè)的泊松方程。整個(gè)推導(dǎo)過(guò)程僅僅依據(jù)于系統(tǒng)的觀測(cè)，無(wú)需其他苛刻的條件限制?；谛路椒ǖ男阅莒`敏度分析可被推廣到一般的部分可觀Markov決策過(guò)程中，因此有廣泛的實(shí)際應(yīng)用性。本文將注重性能差公式的推導(dǎo)過(guò)程，并導(dǎo)出一種新的策略迭代算法。該算法可尋找出基于新方法的次優(yōu)策略。
　　本文針對(duì)大規(guī)模部分可觀Markov決策過(guò)程模型的優(yōu)化問(wèn)題給出一種基于遞階控制理論的策