貝葉斯強化學(xué)習(xí)中策略迭代算法研究.pdf

1、貝葉斯強化學(xué)習(xí)是基于貝葉斯技術(shù)，利用概率分布對值函數(shù)、策略和環(huán)境模型等參數(shù)進行建模，求解強化學(xué)習(xí)相關(guān)任務(wù)，其主要思想是利用先驗分布估計未知參數(shù)的不確定性，然后通過獲得的觀察信息計算后驗分布來學(xué)習(xí)知識?；诖?，本文以策略迭代方法為框架，提出三種改進的基于貝葉斯推理和策略迭代的強化學(xué)習(xí)算法：
　?。?）針對傳統(tǒng)的貝葉斯強化學(xué)習(xí)算法在學(xué)習(xí)未知的環(huán)境模型時，不能動態(tài)地控制環(huán)境模型學(xué)習(xí)次數(shù)的缺陷，提出一種基于貝葉斯智能模型學(xué)習(xí)的策略迭代算法

2、。一方面，算法在模型學(xué)習(xí)部分利用Dirichlet分布方差閾值決定是否需要繼續(xù)學(xué)習(xí)模型，既保證模型學(xué)習(xí)的充分性，又降低模型學(xué)習(xí)的無效率。另一方面，算法在策略學(xué)習(xí)時利用探索激勵因子為選取探索動作提供保障，同時，也使得模型學(xué)習(xí)能夠遍歷所有狀態(tài)動作對，確保算法收斂。模型學(xué)習(xí)和策略學(xué)習(xí)相輔相成，使得算法收斂到最優(yōu)策略。
　　（2）針對傳統(tǒng)的強化學(xué)習(xí)算法無法高效地解決動作探索與利用的平衡問題，提出一種基于動作值函數(shù)(Q值函數(shù))概率估計的異步

3、策略迭代算法。在策略評估部分，利用高斯伽瑪分布對Q值函數(shù)進行建模，基于先驗分布和觀察的數(shù)據(jù)求解Q值函數(shù)后驗，評估策略好壞。在策略改進部分，基于Q值函數(shù)后驗分布，利用Myopic-VPI求解最優(yōu)動作，保證動作探索與利用達到平衡。最后，算法采用異步更新方法，傾向于計算與策略相關(guān)的動作值函數(shù)，提高算法收斂速度。
　?。?）針對傳統(tǒng)的策略迭代算法無法高效地解決狀態(tài)連續(xù)的且環(huán)境模型未知的MDP問題，提出一種基于高斯過程時間差分的在線策略迭代