基于改進(jìn)ELM的遞歸最小二乘強(qiáng)化學(xué)習(xí)算法的研究.pdf

1、強(qiáng)化學(xué)習(xí)包含了策略評(píng)價(jià)與策略尋優(yōu)兩個(gè)方面的問(wèn)題，其中策略評(píng)價(jià)問(wèn)題在機(jī)器學(xué)習(xí)中又稱為預(yù)測(cè)學(xué)習(xí)過(guò)程，而策略尋優(yōu)即策略優(yōu)化問(wèn)題在機(jī)器學(xué)習(xí)中又被稱為控制學(xué)習(xí)過(guò)程，通過(guò)正確、成熟的策略評(píng)價(jià)以及策略迭代技術(shù)可實(shí)現(xiàn)控制學(xué)習(xí)，并最終實(shí)現(xiàn)最優(yōu)控制。
　　本文課題分別就策略評(píng)價(jià)算法以及策略尋優(yōu)算法兩方面展開(kāi)研究:
　　策略評(píng)價(jià)方面，針對(duì)基于最小二乘函數(shù)逼近時(shí)序差分算法的快速性以及輸出精度和穩(wěn)定性上進(jìn)行進(jìn)一步改善。首先，針對(duì)在強(qiáng)化學(xué)習(xí)問(wèn)題中基于極

2、限學(xué)習(xí)機(jī)(Extreme learning machine，ELM)的最小二乘時(shí)序差分學(xué)習(xí)算法計(jì)算效率低的問(wèn)題，本文提出采用具有單抑制特性的Softplus激活函數(shù)代替?zhèn)鹘y(tǒng)的Sigmoid函數(shù)，用以減少算法計(jì)算量。其次，針對(duì)傳統(tǒng)ELM輸入層權(quán)值隨機(jī)的不穩(wěn)定性問(wèn)題，在學(xué)習(xí)過(guò)程中加入正則化因子，有效地克服了值函數(shù)逼近器的過(guò)擬合問(wèn)題，從而更好地估計(jì)值函數(shù)真實(shí)值。然后，針對(duì)樣本利用率，加入了資格跡方法，提出基于改進(jìn)ELM的最小二乘時(shí)序差分算法(

3、Least-squares temporal difference learning algorithm based on improvedextreme learning machine，IELM-LSTD)。同時(shí)，為了進(jìn)一步提高計(jì)算速度，從算法復(fù)雜度角度出發(fā)，將遞推方法引入到IELM-LSTD算法中，消去最小二乘中的矩陣求逆過(guò)程，形成遞歸最小二乘算法，提出基于改進(jìn)ELM的遞歸最小二乘時(shí)序差分算法(recursive least-sq

4、uares temporal difference learning algorithm based on improved extreme learning machine，IELM-RLSTD)，有效降低了算法復(fù)雜度并提高了在線計(jì)算速度。通過(guò)廣義Hop-word實(shí)驗(yàn)以及倒立擺實(shí)驗(yàn)，驗(yàn)證了所提算法在計(jì)算速度和穩(wěn)定性上的提高。
　　策略優(yōu)化方面，在改善策略評(píng)價(jià)算法的基礎(chǔ)上，結(jié)合傳統(tǒng)的策略迭代技術(shù)，提出了基于改進(jìn)ELM的最小二乘Q（

5、λ）策略尋優(yōu)算法(Recursive least-squares Q learning algorithm based on improved extreme learning machine，IELM-RLSQ(λ))，除了具有快速性及穩(wěn)定性外，該算法對(duì)Q函數(shù)值進(jìn)行逼近，相比于傳統(tǒng)Q（λ）算法，本算法替代了采用表格存儲(chǔ)Q值的方法，用以解決更復(fù)雜的環(huán)境問(wèn)題。以RPG游戲中尋路過(guò)程為實(shí)驗(yàn)?zāi)Ｐ?，進(jìn)行路徑策略尋優(yōu)，實(shí)驗(yàn)表明，所提算法在成功解決