強(qiáng)化學(xué)習(xí)中狀態(tài)抽象技術(shù)的研究.pdf

1、抽象技術(shù)允許系統(tǒng)忽略與當(dāng)前決策無(wú)關(guān)的一些細(xì)節(jié)，而僅僅只考慮那些有關(guān)的或重要的因素，是用于解決“維數(shù)災(zāi)”問(wèn)題的一種重要技術(shù)。在強(qiáng)化學(xué)習(xí)領(lǐng)域，存在著兩類主要的抽象技術(shù)：過(guò)程抽象與狀態(tài)抽象。過(guò)程抽象指的是忽略掉一個(gè)復(fù)雜動(dòng)作的執(zhí)行細(xì)節(jié)，而把它當(dāng)作一個(gè)整體(抽象動(dòng)作)來(lái)看待。狀態(tài)抽象指的是忽略掉狀態(tài)向量中與當(dāng)前決策不相關(guān)的特征，以達(dá)到狀態(tài)空間壓縮的效果。就狀態(tài)抽象技術(shù)而言，雖然它已經(jīng)取得了一定的進(jìn)展，但仍然存在著許多問(wèn)題。
　　 本文針對(duì)

2、多維連續(xù)狀態(tài)空間的離散化精度問(wèn)題，構(gòu)造了一種基于自組織神經(jīng)網(wǎng)絡(luò)的狀態(tài)抽象方法，它將自組織神經(jīng)網(wǎng)絡(luò)、資格跡及Actor/Critic強(qiáng)化學(xué)習(xí)框架進(jìn)行了有機(jī)的集成。該方法的特點(diǎn)如下：利用自組織神經(jīng)網(wǎng)絡(luò)并結(jié)合智能體自身在線獲取到的數(shù)據(jù)來(lái)離散化連續(xù)狀態(tài)空間，以獲得良好的量化精度；同時(shí)，自組織神經(jīng)網(wǎng)絡(luò)的工作機(jī)制也利于智能體自主地在線量化連續(xù)空間；將量化空間的自組織特性和資格跡技術(shù)相結(jié)合以調(diào)整強(qiáng)化學(xué)習(xí)的性能指標(biāo)。
　　 本文針對(duì)目前的層次強(qiáng)

3、化學(xué)習(xí)框架還缺乏面向問(wèn)題的表達(dá)能力這一問(wèn)題，對(duì)SMDPs問(wèn)題進(jìn)行了分類，定義了HAM-可分解概念，明確了HAM機(jī)、HAM-可分解及策略耦合SMDPs這三者之間的關(guān)系，并證明了HAM框架適合解決策略耦合SMDPs問(wèn)題。實(shí)際上，上述框架表明了HAM的策略耦合觀點(diǎn)，它從問(wèn)題的角度來(lái)描述層次強(qiáng)化學(xué)習(xí)方法。在HAM的策略耦合基礎(chǔ)上，針對(duì)一類具有有向無(wú)環(huán)圖形式的策略耦合SMDPs問(wèn)題，提出了一種層次分解方法。該方法充分利用了HAM體系中的CALL狀

4、態(tài)與CHOICE狀態(tài)這兩個(gè)核心概念。與其他方法相比，該方法在構(gòu)造層次時(shí)所需的信息較少，而且各層子任務(wù)單一，允許執(zhí)行的動(dòng)作集有限；同時(shí)，各層間相對(duì)獨(dú)立的特點(diǎn)便于使用狀態(tài)抽象技術(shù)加快學(xué)習(xí)速度。
　　 本研究在HAM策略耦合觀點(diǎn)的基礎(chǔ)上，提出了基于HAM的同態(tài)變換方法，可以有效地解決基于子過(guò)程的狀態(tài)抽象方法的抽象能力有限及HAMs模型本身存在的聯(lián)合狀態(tài)空間這一問(wèn)題，并進(jìn)行了理論分析與實(shí)驗(yàn)驗(yàn)證。在此基礎(chǔ)上，從實(shí)用的觀點(diǎn)出發(fā)，總結(jié)了應(yīng)用同

5、態(tài)變換進(jìn)行狀態(tài)抽象的幾個(gè)重要的觀點(diǎn)，并且還討論了近似同態(tài)變換與Bootstrapping技術(shù)、部分同態(tài)變換等實(shí)用技術(shù)。從層次強(qiáng)化學(xué)習(xí)方法應(yīng)該滿足面向問(wèn)題的求解這一基本需求的角度出發(fā)，在上述提出的主要概念與理論的基礎(chǔ)上，給出了一個(gè)統(tǒng)一的框架：它初步支持問(wèn)題的建模分析與計(jì)算求解；允許同時(shí)使用多種抽象機(jī)制；并且能夠同時(shí)學(xué)習(xí)層次最優(yōu)策略和遞歸最優(yōu)策略。同時(shí)，還提出了一種NPCs行為設(shè)計(jì)方法，并在一個(gè)實(shí)際的游戲平臺(tái)----Quake2平臺(tái)上，采用