連續(xù)空間非參函數(shù)逼近方法研究.pdf

1、強(qiáng)化學(xué)習(xí)是一種試錯(cuò)學(xué)習(xí),可解決無模型問題,在沒有任何先驗(yàn)知識(shí)的情況下, Agent通過與環(huán)境不斷交互實(shí)現(xiàn)基于自身經(jīng)驗(yàn)的學(xué)習(xí)。本文研究的是連續(xù)狀態(tài)動(dòng)作空間的問題,傳統(tǒng)的解決方法是離散化狀態(tài)或動(dòng)作空間,為了保證一定的精度,離散化方法會(huì)導(dǎo)致狀態(tài)動(dòng)作空間非常大,從而引起“維數(shù)災(zāi)”。本文提出三種基于行動(dòng)者-評(píng)論家(Actor-Critic,AC)架構(gòu)的算法,其中Critic部分使用非參函數(shù)逼近來解決連續(xù)狀態(tài)空間“維數(shù)災(zāi)”問題,Actor部分使用策

2、略梯度尋找動(dòng)作。
　　本研究主要內(nèi)容包括：⑴針對(duì)已有的非參方法存在樣本利用率低的問題,提出了一種基于核的遞歸最小二乘AC算法。行動(dòng)者部分給出了一種基于核的策略梯度算法,在估計(jì)策略梯度時(shí),用核函數(shù)逼近器逼近真實(shí)的Q值。評(píng)論家部分提出了一種基于ALD的KRLSTD-Q算法,在消除了矩陣的逆運(yùn)算同時(shí),可以充分利用樣本信息。通過Mountain Car的仿真實(shí)驗(yàn)驗(yàn)證了算法的有效性。⑵鑒于高斯核函數(shù)的有效性,提出了一個(gè)基于最小二乘支持向量回

3、歸(LSSVR)的AC算法。該算法的行動(dòng)者部分使用的是策略梯度算法,為了使該算法具有可行性,提出了一種在策略評(píng)估樣本集和策略改進(jìn)樣本集上協(xié)調(diào)工作的方式。使用ALD方法稀疏化策略評(píng)估樣本集,產(chǎn)生數(shù)據(jù)字典。評(píng)論家用LSSVR方法在數(shù)據(jù)字典上回歸V值函數(shù),行動(dòng)者在策略改進(jìn)樣本集上改進(jìn)策略。⑶前兩種算法都是離線的,針對(duì)離線方法不具有實(shí)時(shí)性的問題,提出了一種基于GPTD的在線AC算法。該算法的行動(dòng)者部分提出了一種在線的策略梯度算法,能夠適應(yīng)核的增