基于MAXQ的自動分層方法的研究.pdf

1、強化學(xué)習(xí)通過試錯與環(huán)境交互獲得策略的改進，其自學(xué)習(xí)和在線學(xué)習(xí)的特點使其成為機器學(xué)習(xí)研究的一個重要分支。但是，強化學(xué)習(xí)一直被維數(shù)災(zāi)難所困擾。近年來，分層強化學(xué)習(xí)在克服維數(shù)災(zāi)難方面取得了顯著進展。分層強化學(xué)習(xí)的實質(zhì)是通過在強化學(xué)習(xí)的基礎(chǔ)上增加“抽象”機制，把整體任務(wù)分解為不同層次上的子任務(wù)，使每個子任務(wù)在規(guī)模較小的子問題空間中求解，并且求得的子任務(wù)策略可以復(fù)用，從而加快問題的求解速度。典型的成果有Option、HAM和MAXQ等方法，其中O

2、ption和MAXQ目前使用較為廣泛。MAXQ方法在線學(xué)習(xí)能力強，但MAXQ任務(wù)圖的構(gòu)造仍舊依賴手動構(gòu)造，且手動分層的粒度不夠精細(xì)，難于對一些規(guī)模依然很大的子任務(wù)做出進一步的分解，很難適用于現(xiàn)階段技術(shù)發(fā)展的需求。針對這一問題，學(xué)術(shù)界仍沒有找到一個好的解決辦法。
　　本文提出的框架可以一定程度上的解決人規(guī)模任務(wù)下的MAXQ自動分層問題，并深入研究該算法所涉及的理論和計算問題，以及該方法在實際應(yīng)用中需要解決的問題。論文的主要工作有兩點