部分可觀察Markov決策過程中基于內部狀態(tài)的強化學習研究.pdf

1、強化學習是機器學習的一個重要分支，它模擬動物學習過程，通過試探的方法修正從狀態(tài)到動作的映射策略，最終學會在各種環(huán)境狀態(tài)下采取最好的反應行為，從而提高智能系統(tǒng)的自適應性和魯棒性。 盡管強化學習技術已有很多研究成果和應用范例，但是還有許多沒有解決的問題，不完全感知問題就是其中一個難點問題。目前對于這類問題一般采用POMDP模型進行求解。 但是，由于求解POMDP模型的計算復雜度高，所以只能處理規(guī)模較小簡單的問題。本文分別在模

2、型優(yōu)化和算法改進等方面做了一些研究，論文的主要工作如下： 首先，在POMDP模型中引入Agent的內部狀態(tài)，利用學習的歷史經(jīng)驗值，提出一種基于內部狀態(tài)的POMDP強化學習改進模型。通過對實例問題策略的描述，實現(xiàn)了降低策略復雜度和學習隨機性的目的。 其次，在模型改進的基礎上，進一步引入資格跡(the eligibility trace)的思想，并提出了相應的基于策略梯度的近似強化學習算法：PGI-POMDP算法，降低了近似