基于馬氏決策理論的智能體決策問題研究.pdf

1、馬氏決策理論是智能體(agent)決策研究中有效的理論。馬爾科夫決策過程(MDP)是馬氏決策理論中最基礎的一種模型，通常用來描述和解決大規(guī)模不確定性環(huán)境下智能體決策的問題。部分可觀馬爾科夫決策過程(POMDP)是MDP隨著現(xiàn)實問題的擴展，當智能體決策過程中無法獲得全局的信息的時候，POMDP就是能夠為決策過程提供可靠的模型和求解方法。隨著人工智能研究的發(fā)展，越來越多的研究者開始考慮將多個智能體作為一個整體，也就是多智能體系統(tǒng)(Multi

2、-agentSystem，MAS)，并開展對多智能體系統(tǒng)決策的研究，而分布式部分可觀馬爾科夫決策過程(DEC-POMDP)正是為解決MAS決策而提出的新模型。
　　 本文首先介紹馬氏決策理論中重要的三個模型MDP、POMDP和DEC-POMDP以及相應的求解算法，然后結合機器人足球2D仿真比賽中球員決策的問題，通過分析利用相關的模型和算法來提高球員決策的性能。本文主要工作可以分為以下三個方面：
　　 首先，通過分析機器人

3、足球2D仿真比賽中球員進攻決策存在的問題，發(fā)現(xiàn)球員在持球狀態(tài)下決策的不足，然后利用MDP為球員持球狀態(tài)下的進攻決策進行建模，同時提出值函數(shù)分解迭代的方法求解最佳進攻策略，通過實驗數(shù)據(jù)證明利用本模型和相關求解算法能夠讓球隊的進攻性能得到有效的提高。
　　 其次，為提高球隊守門員的表現(xiàn)，本文分析了守門員決策必須考慮決策實時性和信息不完整性，提出用POMDP為守門員決策進行建模，以提高守門員在緊急情況下及時有效防止對方進攻的表現(xiàn)。在求

4、解過程中，為保證算法的實時性，文中提出基于了臨界狀態(tài)的求解方法，并將此方法應用到基于POMDP模型的守門員決策中。一系列檢測守門員效果的實驗數(shù)據(jù)表明，通過POMDP模型建模并求解后的守門員決策性能得到了較好的提升。
　　 最后，我們展開了多智能體決策的研究。馬氏決策過程中為解決多智能體系統(tǒng)決策，提出了DEC-POMDP模型，但是其相應的求解算法仍存在不足，尤其是目前大部分算法只能解決部分小規(guī)模問題，無法順利地應用于機器人足球2D

5、仿真比賽這種大規(guī)模多智能體系統(tǒng)的決策中。文中首先對多智能體系統(tǒng)決策的DEC-POMDP及相關算法進行分析，然后利用MADP工具箱對DEC-POMDP模型的一系列標準測試問題進行測試和分析，闡述了DEC-POMDP離線規(guī)劃求解過程中算法的重要性，然后提出分組有限空間的離線規(guī)劃方法，并在MADP工具箱里幾個有關DEC-POMDP標準測試問題中驗證文中提出方法的有效性，通過幾組實驗對照發(fā)現(xiàn)分組有限空間的離線規(guī)劃方法能夠在一定程度降低標準測試問