并行強(qiáng)化學(xué)習(xí)研究.pdf

1、強(qiáng)化學(xué)習(xí)(reinforcementleaming，RL)是一類(lèi)重要的機(jī)器學(xué)習(xí)方法，在智能機(jī)器人、經(jīng)濟(jì)學(xué)、工業(yè)制造和博弈等領(lǐng)域得到了廣泛的應(yīng)用。然而目前的強(qiáng)化學(xué)習(xí)算法在可擴(kuò)展性方面都有所欠缺，在學(xué)習(xí)任務(wù)的狀態(tài)空間很大或狀態(tài)空間連續(xù)時(shí)，開(kāi)銷(xiāo)非常巨大，甚至不能直接應(yīng)用。同時(shí)，在實(shí)際應(yīng)用中，收斂速度慢是強(qiáng)化學(xué)習(xí)的另一個(gè)主要不足。
　　 針對(duì)強(qiáng)化學(xué)習(xí)方法在大狀態(tài)空間或連續(xù)狀態(tài)空間的學(xué)習(xí)問(wèn)題中存在的“維數(shù)災(zāi)”及收斂速度慢等普遍存在且嚴(yán)重的

2、問(wèn)題，本文從并行化強(qiáng)化學(xué)習(xí)過(guò)程的角度出發(fā)，提出了3種并行強(qiáng)化學(xué)習(xí)方法，主要研究?jī)?nèi)容概括如下：
　　 (1)提出了一種基于狀態(tài)空間分解和智能調(diào)度的并行強(qiáng)化學(xué)習(xí)方法。這種方法首先將規(guī)模較大的學(xué)習(xí)問(wèn)題分解成小的子問(wèn)題，再對(duì)每個(gè)子問(wèn)題進(jìn)行并行學(xué)習(xí)。在學(xué)習(xí)過(guò)程中，通過(guò)一種自適應(yīng)的智能調(diào)度算法選擇收益較大的子問(wèn)題優(yōu)先學(xué)習(xí)。在算法收斂之后，通過(guò)合并各個(gè)子問(wèn)題的結(jié)果得到整個(gè)學(xué)習(xí)問(wèn)題的期望結(jié)果。本文還從理論上證明了基于狀態(tài)空間分解和多Agent并

3、行學(xué)習(xí)的Q學(xué)習(xí)算法的收斂性。
　　 (2)為了在具有延時(shí)回報(bào)特點(diǎn)的在線學(xué)習(xí)任務(wù)中提高時(shí)間信度的分配效率和使用資格跡的強(qiáng)化學(xué)習(xí)算法的收斂速度，提出了一種并行強(qiáng)化學(xué)習(xí)框架和一些可行的優(yōu)化方法。該學(xué)習(xí)框架充分利用了資格跡算法內(nèi)在的并行性，使用多個(gè)計(jì)算節(jié)點(diǎn)分?jǐn)傊岛瘮?shù)表和資格跡表的更新工作。
　　 (3)針對(duì)E3算法的理論收斂時(shí)間界限太大，在實(shí)際的大狀態(tài)空間學(xué)習(xí)問(wèn)題中學(xué)習(xí)效率較低的問(wèn)題，提出了一種基于多Agent并行采樣和學(xué)習(xí)經(jīng)驗(yàn)