強(qiáng)化學(xué)習(xí)中基函數(shù)構(gòu)造方法研究.pdf

1、強(qiáng)化學(xué)習(xí)是一種從環(huán)境狀態(tài)到動(dòng)作映射的學(xué)習(xí)方法。很多領(lǐng)域的實(shí)際問題都可以描述為強(qiáng)化學(xué)習(xí)問題，因而強(qiáng)化學(xué)習(xí)具有廣闊的應(yīng)用前景。但是，實(shí)際系統(tǒng)的空間往往是大規(guī)?；蜻B續(xù)的，強(qiáng)化學(xué)習(xí)不可避免地會(huì)遇到狀態(tài)變量的空間復(fù)雜度問題，即“維數(shù)災(zāi)難”。針對這一問題，本文以基函數(shù)構(gòu)造方法為基點(diǎn)，提出了幾種針對大規(guī)?；蜻B續(xù)狀態(tài)空間的強(qiáng)化學(xué)習(xí)算法。主要研究包括以下三部分內(nèi)容：
　　（1）針對大規(guī)模狀態(tài)空間自適應(yīng)Tile-Coding算法存在誤劃分，會(huì)導(dǎo)致存儲(chǔ)

2、空間增大以及學(xué)習(xí)速率減慢的問題，在原有自適應(yīng)Tile-Coding算法的基礎(chǔ)上，提出根據(jù)一定的閾值條件對劃分后相鄰的離散區(qū)域進(jìn)行二次合并的算法。該算法消除了因?yàn)檎`劃分所產(chǎn)生的不良影響，不僅能進(jìn)一步地縮減存儲(chǔ)空間，解決了“維數(shù)災(zāi)難”問題，而且能提高算法的學(xué)習(xí)效率．
　?。?）針對在批量強(qiáng)化學(xué)習(xí)算法中遇到的所需樣本集合容量過大以及樣本選擇的問題，提出一種適用于大規(guī)模狀態(tài)空間的基于探索樹的擬合Q迭代算法。該算法在傳統(tǒng)單次采樣的擬合Q迭代

3、算法的基礎(chǔ)上，在每輪迭代前根據(jù)各個(gè)區(qū)域的收斂程度、樣本密度的不同進(jìn)行局部采樣，引入新的樣本。該算法不僅解決了隨機(jī)采樣所帶來的收斂效果不穩(wěn)定的問題，而且在很大程度上提高了樣本的有效性，避免了過度采樣導(dǎo)致的計(jì)算量過大的問題。
　?。?）針對傳統(tǒng)的函數(shù)逼近方法難以適用于解決高維度的大規(guī)模狀態(tài)空間的問題，提出在子特征空間上的核函數(shù)構(gòu)造方法，間接地降低了問題的維度，并使得算法能夠通過線性函數(shù)逼近的方法實(shí)現(xiàn)非線性逼近的特性。該算法解決了傳統(tǒng)的