強(qiáng)化學(xué)習(xí)中離策略算法的分析及研究.pdf

1、強(qiáng)化學(xué)習(xí)是一種通過(guò)與環(huán)境進(jìn)行“試錯(cuò)”交互尋找能夠帶來(lái)最大期望累積獎(jiǎng)賞策略的學(xué)習(xí)方法。根據(jù)學(xué)習(xí)過(guò)程中行為策略與目標(biāo)策略是否一致,強(qiáng)化學(xué)習(xí)方法分為在策略算法和離策略算法。與在策略算法相比,離策略算法具有更加廣泛的應(yīng)用范圍,離策略算法已經(jīng)成為當(dāng)前強(qiáng)化學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)。本文針對(duì)當(dāng)前離策略算法研究中難以收斂、收斂速度慢以及收斂精度低的問(wèn)題展開(kāi)分析,并提出一系列解決方案。本文主要研究?jī)?nèi)容包括以下四部分:
　　(1)提出一種基于線性函數(shù)逼

2、近的離策略Q(λ)算法,該算法通過(guò)引入重要性關(guān)聯(lián)因子,在迭代次數(shù)逐步增長(zhǎng)的過(guò)程中,使得在策略與離策略相統(tǒng)一,確保算法的收斂性。同時(shí)在保證在策略與離策略的樣本數(shù)據(jù)一致性的前提下,對(duì)算法的收斂性給予理論證明。
　　(2)從TD Error的角度出發(fā),給出n階TD Error的概念,并將n階TD Error用于經(jīng)典的Q(λ)學(xué)習(xí)算法,提出一種二階TD Error快速Q(mào)(λ)學(xué)習(xí)算法——()SOEFQλ。該算法利用二階TD Error修正

3、Q值函數(shù),并通過(guò)資格跡將TD Error傳播至整個(gè)狀態(tài)動(dòng)作空間,加快算法的收斂速度。在此基礎(chǔ)之上,分析算法的收斂性及收斂效率,在僅考慮一步更新的情況下,算法所要執(zhí)行的迭代次數(shù)T主要指數(shù)依賴于111γε、。
　　(3)提出在學(xué)習(xí)過(guò)程中通過(guò)遷移值函數(shù)信息,減少算法收斂所需要的樣本數(shù)量,加快算法的收斂速度?；趶?qiáng)化學(xué)習(xí)中經(jīng)典的離策略Q-Learning算法的學(xué)習(xí)框架,結(jié)合值函數(shù)遷移方法,優(yōu)化算法初始值函數(shù)的設(shè)置,提出一種新的基于值函數(shù)遷

4、移的快速Q(mào)-Learning算法——VFT-Q-Learning。該算法在執(zhí)行前期,通過(guò)引入自模擬度量方法,在狀態(tài)空間以及動(dòng)作空間一致的情況下,對(duì)目標(biāo)任務(wù)中的狀態(tài)與歷史任務(wù)中的狀態(tài)之間的距離進(jìn)行度量,對(duì)其中相似并滿足一定條件的狀態(tài)進(jìn)行值函數(shù)遷移,而后再通過(guò)學(xué)習(xí)算法進(jìn)行學(xué)習(xí)。
　　(4)針對(duì)大規(guī)模狀態(tài)空間或者連續(xù)狀態(tài)空間、確定環(huán)境問(wèn)題中的探索和利用的平衡問(wèn)題,提出一種基于高斯過(guò)程的離策略近似策略迭代算法。該算法利用高斯過(guò)程對(duì)帶參的值