機器人足球防御仿真中強化學習方法的研究.pdf

1、機器人足球(RoboCup)是一個研究多智能體系統(tǒng)在實時對抗環(huán)境下決策與合作問題的平臺。由于分布性、實時性、動態(tài)性、異步性等特點，使其成為分布式人工智能研究的一個標準的平臺。防御仿真(SoccerKeepaway)是機器人足球中的一個小的子任務，是研究強化學習的標準平臺(benchmark)，大部分強化學習方法都可以在該平臺上得以檢驗。 強化學習不需要先驗知識，直接與環(huán)境進行交互獲取知識、改進行為策略。由于能夠處理噪聲的干擾和隨

2、機性，以及延遲的目標，不必知道系統(tǒng)的動態(tài)模型。對于大的狀態(tài)空間問題也可以通過狀態(tài)壓縮、函數(shù)近似的方法解決，能夠相對快速地進行決策，能夠解決RoboCup中的諸多富有挑戰(zhàn)性的問題，因而在機器人足球中獲得了廣泛的應用。 本文分析了幾種強化學習方法，包括基于值函數(shù)(Value-Based)近似方法、策略梯度方法(PolicyGradient)、以及Actor-Critic方法等。著重討論了Actor-Critic強化學習方法以及用片(

3、Tile-coding)線性函數(shù)近似來獲取特征值的方法。而且分析了在防御仿真中使用Actor-Critic方法的優(yōu)缺點，同時與基于值函數(shù)近似的強化學習以及基于策略梯度的強化學習做了一個比較。 最后，通過實驗對強化學習算法得到的策略以及標準的策略做了一個比較。結果表明，通過強化學習方法得到的策略要優(yōu)于標準策略；對于小的問題，球員在360度視角下，通過Actor-Critic強化學習方法得到的策略比基于值函數(shù)強化學習方法Sarsa(