實用POMDP近似求解算法的研究.pdf

1、在人工智能領(lǐng)域，動態(tài)的、不確定性的序列決策問題是研究Agent與環(huán)境交互的策略的核心問題。在實際應(yīng)用領(lǐng)域，隨著系統(tǒng)的復(fù)雜化，大量的問題都可抽象為動態(tài)的、不確定性的序列決策問題，因而對這些問題的研究具有廣泛而深遠的意義。POMDP作為求解滿足 Markov假設(shè)的動態(tài)的、不確定性的序列決策問題的一種強大而靈活的框架，成為研究的焦點。
　　本文從實用性角度出發(fā)，研究了獲得最優(yōu)POMDP策略的算法。
　　從對實際應(yīng)用的廣泛適用性出發(fā)

2、，本文研究了基于實例的算法，包括NNI，LWI和ENNI。此算法結(jié)合使用了基于實例學(xué)習(xí)和增強學(xué)習(xí)的技術(shù)。通過實例學(xué)習(xí)，可獲取Agent的準(zhǔn)確的交互數(shù)據(jù)，由于它對模型沒有特殊要求，因此使得最終的算法具有廣泛的適用性，不僅可在離散的Markov環(huán)境下應(yīng)用，更可以應(yīng)用于連續(xù)狀態(tài)的情況和非Markov環(huán)境的情況。通過增強學(xué)習(xí)，不斷地搜索策略空間，尋找更優(yōu)的策略。通過學(xué)習(xí)獲得了與策略相關(guān)的數(shù)據(jù)，然后使用啟發(fā)式的求解方法來獲得優(yōu)化的策略。實驗表明，

3、在沒有模型參數(shù)的情況下，它可獲得優(yōu)于Q-MDP算法的策略。
　　為了解決POMDP求解算法的復(fù)雜性問題，開發(fā)高效的求解算法，本文研究了基于核信念的求解算法 KBVI。KBVI通過采樣從初始信念狀態(tài)可達的信念狀態(tài)獲得與具體問題結(jié)構(gòu)相關(guān)的信息，基于這些數(shù)據(jù)通過值迭代求解POMDP來獲得最優(yōu)策略。KBVI把求解POMDP的復(fù)雜性降低到多項式級，與其他的基于信念點的算法相比，它可以更高效的獲得同等的甚至更優(yōu)的策略。
　　為了獲得求解