基于狀態(tài)聚類的MAXQ任務自動分層研究.pdf

1、強化學習是指從環(huán)境狀態(tài)到動作映射的學習，它通過試錯使得系統(tǒng)從環(huán)境獲得的累積獎賞的期望值最大。強化學習中的學習參數(shù)個數(shù)會隨著環(huán)境狀態(tài)、動作維數(shù)成指數(shù)級增長，從而產(chǎn)生維數(shù)災難問題。分層強化學習(Hierarchical Reinforcement Learning，HRL)是解決強化學習維數(shù)災難問題的一種重要方法。分層強化學習引入了抽象機制來實現(xiàn)狀態(tài)空間降維，抽象技術允許忽略與當前決策無關的一些細節(jié)而僅僅考慮那些相關的重要因素從而實現(xiàn)降維。

2、目前分層強化學習中三種典型的方法分別是Sutton等人提出的Option、Parr提出的HAM和Dietterich提出的MAXO。分層強化學習存在的一個重要問題是任務的層次圖需要由設計者根據(jù)專家知識事先給定。由于手工構造任務的層次結構需要具備和任務環(huán)境相關的專家知識，這將耗費大量的手工勞動并且不能滿足動態(tài)未知環(huán)境的需要。于是如何自動發(fā)現(xiàn)并構造任務的層次圖成為分層強化學習的一個重要問題。
　　而目前大部分分層強化學習的自動分層方法

3、都針對Option方法的。其主要的研究成果包括Hengst提出的HEXQ自動分層方法以及Jonsson和Barto提出的一種分析變量影響結構的自動分層方法VISA。由于MAXQ方法能夠更好地利用先驗知識并且具有更強的在線學習能力，故而關于MAXQ任務層次圖的自動發(fā)現(xiàn)研究具有非常重要的意義。目前，關于MAXQ任務層次圖自動發(fā)現(xiàn)的研究成果主要有HI-MAT方法，但是HI-MAT得到的任務層次圖依賴于觀察到的一條成功的執(zhí)行軌跡，從而得到任務層

4、次圖空間中和這條軌跡一致的任務層次圖，這樣容易陷入局部最優(yōu)。本文提出一種基于目標環(huán)境因果圖的MAXO任務層次圖的優(yōu)化方法AEHM(Auto-adjustment andEvolution of Hierarchy for MAXQ)。AEHM根據(jù)目標環(huán)境的因果圖調(diào)整在任務層次圖空間中搜索的方向，從而加快搜索并得到更優(yōu)化的結果。本方法使用了遺傳編程算法在任務層次圖空間中進行啟發(fā)式搜索，其遺傳算子(主要包括交叉、變異運算)運算時保持任務層次