基于貝葉斯理論的行動者評論家算法研究.pdf

1、強化學習作為一種重要的機器學習方法，其兩個特征是模型無關性和在線學習性。智能體通過與環(huán)境交互，利用環(huán)境反饋的信息，即獎賞來調(diào)整和改善自己的行為，最終獲得最優(yōu)策略。強化學習領域的一個研究難點是如何在大規(guī)?；蜻B續(xù)空間中平衡探索與利用的問題。
　　本文對大規(guī)模或連續(xù)空間可能帶來的“維數(shù)災”問題和探索與利用的平衡問題展開分析，將行動者評論家算法與貝葉斯理論相結合，提出兩種基于貝葉斯理論的行動者評論家算法。主要研究概括為如下兩個方面：⑴針對

2、強化學習在大規(guī)?；蜻B續(xù)空間中算法易產(chǎn)生“維數(shù)災”的問題與探索與利用難以平衡的問題，提出一種基于高斯過程時間差分的行動者評論家算法。該算法在行動者部分使用時間差分誤差構造關于策略參數(shù)的更新公式；在評論家部分利用高斯過程對線性帶參值函數(shù)建模，結合生成模型，根據(jù)貝葉斯推理，求解值函數(shù)的后驗分布。實驗表明，該算法能有效解決在大規(guī)?；蜻B續(xù)狀態(tài)空間中探索與利用的問題，且算法收斂速度較快。⑵提出一種基于高斯過程的離策略行動者評論家算法，該算法在行動者