部分觀測(cè)馬爾科夫決策過程中基于記憶的強(qiáng)化學(xué)習(xí)問題研究.pdf

1、在強(qiáng)化學(xué)習(xí)中，Agent對(duì)環(huán)境做出動(dòng)作并從環(huán)境得到回報(bào)，相應(yīng)于不同的動(dòng)作，環(huán)境給予的回報(bào)值有所不同，通過對(duì)到達(dá)目標(biāo)點(diǎn)所作一系列動(dòng)作的回報(bào)值不斷強(qiáng)化，Agent能夠?qū)W到從內(nèi)部狀態(tài)到動(dòng)作的映射，即學(xué)到?jīng)Q策過程。
　　傳統(tǒng)的U-Tree算法在解決部分觀測(cè)馬爾科夫決策過程(partially observable Markov decision processes，POMDP)的強(qiáng)化學(xué)習(xí)問題方面已經(jīng)取得了顯著的成效，但因?yàn)檫吘壗Y(jié)點(diǎn)生長(zhǎng)的隨

2、意性，仍然存在樹的規(guī)模龐大，內(nèi)存需求較大，計(jì)算復(fù)雜度過高的問題。本文在原有U-Tree算法的基礎(chǔ)上進(jìn)行改進(jìn)，通過獲取下一步的觀測(cè)值，對(duì)同一葉結(jié)點(diǎn)中做相同動(dòng)作的實(shí)例進(jìn)行劃分，提出了一種基于有效實(shí)例擴(kuò)展邊緣結(jié)點(diǎn)的(Effective Instance U-Tree)算法，簡(jiǎn)稱為EIU-Tree算法。大大縮減了計(jì)算規(guī)模，從而可以幫助agent更快更好地學(xué)習(xí)，并在經(jīng)典的4×3柵格問題中進(jìn)行了仿真實(shí)驗(yàn)，實(shí)驗(yàn)表明該算法相對(duì)于原有的U-Tree算法有

3、更好的效果。
　　針對(duì)U-Tree算法和MU-Tree算法中收斂速度慢的問題，本文中在agent做值迭代的時(shí)候，我們用Sarsa(λ)算法更新Q值，提出了一種基于Sarsa(λ)算法的(Sarsa(λ)U-Tree）算法，簡(jiǎn)稱為SU-Tree算法。當(dāng)agent到達(dá)目標(biāo)狀態(tài)或懲罰狀態(tài)時(shí)，會(huì)對(duì)這條路徑上所有產(chǎn)生的實(shí)例進(jìn)行Q值的更新，提高了算法的收斂速度。并在4×3方格問題和奶酪迷宮問題中進(jìn)行了仿真實(shí)驗(yàn)，實(shí)驗(yàn)表明該算法相對(duì)于原有的U-T