最小二乘策略迭代算法研究.pdf

1、強(qiáng)化學(xué)習(xí)是一種通過(guò)與環(huán)境的交互,將狀態(tài)映射到動(dòng)作,以獲取最大累積獎(jiǎng)賞的機(jī)器學(xué)習(xí)方法。在大規(guī)模和連續(xù)狀態(tài)或動(dòng)作空間強(qiáng)化學(xué)習(xí)問(wèn)題中,通過(guò)使用函數(shù)逼近方法擬合策略形成了近似強(qiáng)化學(xué)習(xí)方法。最小二乘策略迭代是一類前沿的近似強(qiáng)化學(xué)習(xí)方法,其最小二乘逼近可以從樣本中獲取更多有效信息,并可以應(yīng)用到在線算法中。本文著眼于在線最小二乘策略迭代算法,對(duì)其進(jìn)行了以下幾方面的擴(kuò)展,提出了相應(yīng)的算法:
　　(1)針對(duì)在線最小二乘策略迭代算法對(duì)樣本數(shù)據(jù)利用不充

2、分、每個(gè)樣本僅使用一次就被丟棄的問(wèn)題,提出一種批量最小二乘策略迭代(BLSPI)算法。該算法在線保存生成的樣本數(shù)據(jù),多次重復(fù)使用這些樣本數(shù)據(jù)以更新控制策略,可以有效利用之前的經(jīng)驗(yàn)知識(shí),提高經(jīng)驗(yàn)利用率,加快收斂速度。
　　(2)針對(duì)最小二乘策略評(píng)估(LSPE)算法中步長(zhǎng)參數(shù)固定或形式單一、缺乏自動(dòng)性的問(wèn)題,提出一種自動(dòng)批量最小二乘策略迭代(ABLSPI)算法。該算法結(jié)合定點(diǎn)步長(zhǎng)參數(shù)評(píng)估方法,高效地利用樣本數(shù)據(jù)和策略動(dòng)態(tài)調(diào)整步長(zhǎng)參數(shù),