基于非參函數(shù)逼近的強化學(xué)習(xí)算法研究.pdf

1、強化學(xué)習(xí)主要通過與環(huán)境交互的方式獲得輸入信息,繼而對策略進(jìn)行改進(jìn)。近年來,強化學(xué)習(xí)受到了學(xué)術(shù)界的廣泛關(guān)注,已經(jīng)成為機器學(xué)習(xí)領(lǐng)域的一個重要分支。傳統(tǒng)的強化學(xué)習(xí)在大規(guī)模狀態(tài)空間下通常采用帶參的函數(shù)逼近器來表示值函數(shù),但是無法解決算法收斂速度過慢與策略精度較低的問題。而非參函數(shù)逼近作為一種靈活的、完全基于樣本的函數(shù)逼近方法,具有精度高、收斂速度快等特點,且與強化學(xué)習(xí)基于反饋進(jìn)行學(xué)習(xí)的根本原理相一致。
　　本文在已有算法的基礎(chǔ)上,將非參函

2、數(shù)逼近與強化學(xué)習(xí)算法相結(jié)合:
　　(1)針對強化學(xué)習(xí)中無效探索過多的問題,提出了一種基于優(yōu)先級掃描的TD最小二乘策略迭代算法,將優(yōu)先級掃描與非參函數(shù)逼近方法相結(jié)合,在探索的同時建立環(huán)境模型,并通過模型學(xué)習(xí)提高了算法的收斂速度;
　　(2)針對非參函數(shù)逼近算法中計算復(fù)雜度過高的問題,提出了一種基于稀疏樣本的高斯過程策略迭代算法,將高斯過程應(yīng)用于強化學(xué)習(xí)建模,并利用核稀疏方法降低了樣本空間的冗余度,在一定程度上提高了算法的收斂速