面向強化學習的模型學習算法研究.pdf

1、強化學習（Reinforcement Learning，RL）是機器學習方法的重要組成部分。它通過Agent不斷地與環(huán)境進行交互，學習從環(huán)境狀態(tài)到行為動作的映射，最終目標是最大化從環(huán)境獲得的累計獎賞。隨著強化學習的數(shù)學基礎研究取得突破性進展后，強化學習成為目前機器學習領域的研究熱點之一。本文針對強化學習算法中存在的收斂速度慢，收斂精度低的問題，圍繞模型學習方法，提出了幾種提高收斂速度和精度的強化學習算法。主要研究包括以下三部分內容：

2、r>　?。?）針對Dyna-2算法中將已經學習到的模型視為一個黑盒對待，沒有充分利用模型的問題，在Dyna-2的基礎上，提出軌跡采樣值迭代的方法來實現(xiàn)模型學習中的規(guī)劃過程。與從模型中采樣的方式相比，這種方法直接利用模型中的參數(shù)，將模型視為一個白盒，提高了模型的利用率，從而可以在不失計算速度的情況下，提高規(guī)劃結果的精度，最終提高值函數(shù)的精度。
　?。?）針對模型學習方法中存在的探索效率不高的問題，提出 R-MAX和自模擬度量相結合的

3、方法來實現(xiàn)模型學習中的探索過程。將整個探索過程置于R-MAX的算法框架中，既保證探索的廣度，又不過多地重復探索某個狀態(tài)導致計算資源的浪費。自模擬度量在距離的度量上比傳統(tǒng)采用歐式距離的方式更為準確，因此能保證探索效率的提升，同時應用軌跡采樣值迭代的規(guī)劃方法，在兩個方面都能有效地提高值函數(shù)的收斂效率。
　?。?）針對現(xiàn)有模型學習方法在解決連續(xù)狀態(tài)空間問題上的不足，通過近似模型來表示狀態(tài)轉移函數(shù)和獎賞函數(shù)。由于近似模型初期不完整，不能提