機(jī)器人足球防御仿真中強(qiáng)化學(xué)習(xí)方法的研究.pdf

1、機(jī)器人足球(RoboCup)是一個(gè)研究多智能體系統(tǒng)在實(shí)時(shí)對(duì)抗環(huán)境下決策與合作問題的平臺(tái)。由于分布性、實(shí)時(shí)性、動(dòng)態(tài)性、異步性等特點(diǎn)，使其成為分布式人工智能研究的一個(gè)標(biāo)準(zhǔn)的平臺(tái)。防御仿真(SoccerKeepaway)是機(jī)器人足球中的一個(gè)小的子任務(wù)，是研究強(qiáng)化學(xué)習(xí)的標(biāo)準(zhǔn)平臺(tái)(benchmark)，大部分強(qiáng)化學(xué)習(xí)方法都可以在該平臺(tái)上得以檢驗(yàn)。 強(qiáng)化學(xué)習(xí)不需要先驗(yàn)知識(shí)，直接與環(huán)境進(jìn)行交互獲取知識(shí)、改進(jìn)行為策略。由于能夠處理噪聲的干擾和隨

2、機(jī)性，以及延遲的目標(biāo)，不必知道系統(tǒng)的動(dòng)態(tài)模型。對(duì)于大的狀態(tài)空間問題也可以通過狀態(tài)壓縮、函數(shù)近似的方法解決，能夠相對(duì)快速地進(jìn)行決策，能夠解決RoboCup中的諸多富有挑戰(zhàn)性的問題，因而在機(jī)器人足球中獲得了廣泛的應(yīng)用。 本文分析了幾種強(qiáng)化學(xué)習(xí)方法，包括基于值函數(shù)(Value-Based)近似方法、策略梯度方法(PolicyGradient)、以及Actor-Critic方法等。著重討論了Actor-Critic強(qiáng)化學(xué)習(xí)方法以及用片(

3、Tile-coding)線性函數(shù)近似來獲取特征值的方法。而且分析了在防御仿真中使用Actor-Critic方法的優(yōu)缺點(diǎn)，同時(shí)與基于值函數(shù)近似的強(qiáng)化學(xué)習(xí)以及基于策略梯度的強(qiáng)化學(xué)習(xí)做了一個(gè)比較。 最后，通過實(shí)驗(yàn)對(duì)強(qiáng)化學(xué)習(xí)算法得到的策略以及標(biāo)準(zhǔn)的策略做了一個(gè)比較。結(jié)果表明，通過強(qiáng)化學(xué)習(xí)方法得到的策略要優(yōu)于標(biāo)準(zhǔn)策略；對(duì)于小的問題，球員在360度視角下，通過Actor-Critic強(qiáng)化學(xué)習(xí)方法得到的策略比基于值函數(shù)強(qiáng)化學(xué)習(xí)方法Sarsa(