基于Option自動(dòng)生成的分層強(qiáng)化學(xué)習(xí)方法研究.pdf

1、強(qiáng)化學(xué)習(xí)通過(guò)試錯(cuò)與環(huán)境交互而獲得策略的改進(jìn)，其自學(xué)習(xí)和在線學(xué)習(xí)的特點(diǎn)使其在實(shí)際中獲得了越來(lái)越廣泛的應(yīng)用。但是，強(qiáng)化學(xué)習(xí)一直被“維數(shù)災(zāi)難”所困擾。分層強(qiáng)化學(xué)習(xí)(HRL)是為解決強(qiáng)化學(xué)習(xí)的維數(shù)災(zāi)問(wèn)題而提出的，并取得了顯著進(jìn)展。分層強(qiáng)化學(xué)習(xí)的實(shí)質(zhì)是通過(guò)在強(qiáng)化學(xué)習(xí)的基礎(chǔ)上增加“抽象”機(jī)制，把整體任務(wù)分解為不同層次上的子任務(wù)，使每個(gè)子任務(wù)在規(guī)模較小的子問(wèn)題空間中求解，并且求得的子任務(wù)策略可以復(fù)用，從而加快問(wèn)題的求解速度。代表性成果有Option、

2、HAM和MAXQ等方法。 本文探討一種新的分層強(qiáng)化學(xué)習(xí)方法-AOM，并深入研究該算法所涉及的理論和計(jì)算問(wèn)題，以及該方法在實(shí)際應(yīng)用中需要解決的問(wèn)題。具體圍繞以下兩個(gè)方面工作展開(kāi)： (1)設(shè)計(jì)了AOM分層強(qiáng)化學(xué)習(xí)方法，給出了理論框架和學(xué)習(xí)算法。該方法基于蟻群聚類(lèi)算法(ACCA)自動(dòng)生成Option分層，并利用了MAXQ良好的在線學(xué)習(xí)能力。實(shí)驗(yàn)結(jié)果證明了AOM學(xué)習(xí)方法的有效性； (2)提出了基于ACCA的AOM任務(wù)自動(dòng)