基于Markov決策理論的足球機器人協(xié)同機制研究.pdf

1、多智能體系統(tǒng)的協(xié)調(diào)和協(xié)作機制，是目前人工智能研究的重點領域之一。多智能體系統(tǒng)的廣泛應用決定了研究其協(xié)調(diào)協(xié)作機制有很大的現(xiàn)實意義。
　　本文以機器人足球比賽為背景，研究基于Markov決策過程(MDP)理論的多智能體協(xié)調(diào)和協(xié)作機制，完成的主要研究成果如下:
　　首先在一類通信條件良好的集中式控制方式下，基于任務層次分解的決策框架，結(jié)合博弈論的有關概念和方法，提出了一種基于效用函數(shù)預測的在線策略規(guī)劃算法。在FIRA2D仿真組比賽

2、平臺上的實驗結(jié)果表明，該算法能夠進行合理的行為選擇，實現(xiàn)良好的團隊合作效果。
　　其次，針對一類感知和通信受限的分布式大規(guī)模決策問題，應用基于MAXQ值函數(shù)分解的任務層次分解方法，提出了一種在線策略求解算法，MAXQ-RTP算法。該算法設計了一種充分利用問題域受限的感知和通信資源的多智能體決策系統(tǒng)框架，基于與或圖表示可行策略，在線實時地求解當前狀態(tài)下的最優(yōu)策略，可用于解決連續(xù)狀態(tài)空間和動作空間的決策規(guī)劃問題。
　　論文的主體

3、實驗工作在分布式控制的RoboCup2D仿真組比賽平臺上進行。通過對智能體有限感知和通信、決策系統(tǒng)規(guī)模等特點的分析，采用基于MAXQ值函數(shù)分解的MDP任務層次分解方法對球員智能體的決策問題進行建模，通過MAXQ-RTP算法在線求解智能體的最優(yōu)策略。實驗結(jié)果表明，該方法有較高的計算效率，通過協(xié)同決策使球隊取勝的效果良好。
　　由于使用MDP模型進行球員智能體建模中對隊友和對手策略的簡化處理，上述MAXQ-RTP算法有可能丟失一些最優(yōu)