基于非參函數(shù)逼近的強(qiáng)化學(xué)習(xí)算法研究.pdf

1、強(qiáng)化學(xué)習(xí)主要通過(guò)與環(huán)境交互的方式獲得輸入信息,繼而對(duì)策略進(jìn)行改進(jìn)。近年來(lái),強(qiáng)化學(xué)習(xí)受到了學(xué)術(shù)界的廣泛關(guān)注,已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要分支。傳統(tǒng)的強(qiáng)化學(xué)習(xí)在大規(guī)模狀態(tài)空間下通常采用帶參的函數(shù)逼近器來(lái)表示值函數(shù),但是無(wú)法解決算法收斂速度過(guò)慢與策略精度較低的問(wèn)題。而非參函數(shù)逼近作為一種靈活的、完全基于樣本的函數(shù)逼近方法,具有精度高、收斂速度快等特點(diǎn),且與強(qiáng)化學(xué)習(xí)基于反饋進(jìn)行學(xué)習(xí)的根本原理相一致。
　　本文在已有算法的基礎(chǔ)上,將非參函

2、數(shù)逼近與強(qiáng)化學(xué)習(xí)算法相結(jié)合:
　　(1)針對(duì)強(qiáng)化學(xué)習(xí)中無(wú)效探索過(guò)多的問(wèn)題,提出了一種基于優(yōu)先級(jí)掃描的TD最小二乘策略迭代算法,將優(yōu)先級(jí)掃描與非參函數(shù)逼近方法相結(jié)合,在探索的同時(shí)建立環(huán)境模型,并通過(guò)模型學(xué)習(xí)提高了算法的收斂速度;
　　(2)針對(duì)非參函數(shù)逼近算法中計(jì)算復(fù)雜度過(guò)高的問(wèn)題,提出了一種基于稀疏樣本的高斯過(guò)程策略迭代算法,將高斯過(guò)程應(yīng)用于強(qiáng)化學(xué)習(xí)建模,并利用核稀疏方法降低了樣本空間的冗余度,在一定程度上提高了算法的收斂速