基于馬氏決策理論的智能體決策問(wèn)題研究.pdf

1、馬氏決策理論是智能體(agent)決策研究中有效的理論。馬爾科夫決策過(guò)程(MDP)是馬氏決策理論中最基礎(chǔ)的一種模型，通常用來(lái)描述和解決大規(guī)模不確定性環(huán)境下智能體決策的問(wèn)題。部分可觀馬爾科夫決策過(guò)程(POMDP)是MDP隨著現(xiàn)實(shí)問(wèn)題的擴(kuò)展，當(dāng)智能體決策過(guò)程中無(wú)法獲得全局的信息的時(shí)候，POMDP就是能夠?yàn)闆Q策過(guò)程提供可靠的模型和求解方法。隨著人工智能研究的發(fā)展，越來(lái)越多的研究者開始考慮將多個(gè)智能體作為一個(gè)整體，也就是多智能體系統(tǒng)(Multi

2、-agentSystem，MAS)，并開展對(duì)多智能體系統(tǒng)決策的研究，而分布式部分可觀馬爾科夫決策過(guò)程(DEC-POMDP)正是為解決MAS決策而提出的新模型。
　　 本文首先介紹馬氏決策理論中重要的三個(gè)模型MDP、POMDP和DEC-POMDP以及相應(yīng)的求解算法，然后結(jié)合機(jī)器人足球2D仿真比賽中球員決策的問(wèn)題，通過(guò)分析利用相關(guān)的模型和算法來(lái)提高球員決策的性能。本文主要工作可以分為以下三個(gè)方面：
　　 首先，通過(guò)分析機(jī)器人

3、足球2D仿真比賽中球員進(jìn)攻決策存在的問(wèn)題，發(fā)現(xiàn)球員在持球狀態(tài)下決策的不足，然后利用MDP為球員持球狀態(tài)下的進(jìn)攻決策進(jìn)行建模，同時(shí)提出值函數(shù)分解迭代的方法求解最佳進(jìn)攻策略，通過(guò)實(shí)驗(yàn)數(shù)據(jù)證明利用本模型和相關(guān)求解算法能夠讓球隊(duì)的進(jìn)攻性能得到有效的提高。
　　 其次，為提高球隊(duì)守門員的表現(xiàn)，本文分析了守門員決策必須考慮決策實(shí)時(shí)性和信息不完整性，提出用POMDP為守門員決策進(jìn)行建模，以提高守門員在緊急情況下及時(shí)有效防止對(duì)方進(jìn)攻的表現(xiàn)。在求

4、解過(guò)程中，為保證算法的實(shí)時(shí)性，文中提出基于了臨界狀態(tài)的求解方法，并將此方法應(yīng)用到基于POMDP模型的守門員決策中。一系列檢測(cè)守門員效果的實(shí)驗(yàn)數(shù)據(jù)表明，通過(guò)POMDP模型建模并求解后的守門員決策性能得到了較好的提升。
　　 最后，我們展開了多智能體決策的研究。馬氏決策過(guò)程中為解決多智能體系統(tǒng)決策，提出了DEC-POMDP模型，但是其相應(yīng)的求解算法仍存在不足，尤其是目前大部分算法只能解決部分小規(guī)模問(wèn)題，無(wú)法順利地應(yīng)用于機(jī)器人足球2D

5、仿真比賽這種大規(guī)模多智能體系統(tǒng)的決策中。文中首先對(duì)多智能體系統(tǒng)決策的DEC-POMDP及相關(guān)算法進(jìn)行分析，然后利用MADP工具箱對(duì)DEC-POMDP模型的一系列標(biāo)準(zhǔn)測(cè)試問(wèn)題進(jìn)行測(cè)試和分析，闡述了DEC-POMDP離線規(guī)劃求解過(guò)程中算法的重要性，然后提出分組有限空間的離線規(guī)劃方法，并在MADP工具箱里幾個(gè)有關(guān)DEC-POMDP標(biāo)準(zhǔn)測(cè)試問(wèn)題中驗(yàn)證文中提出方法的有效性，通過(guò)幾組實(shí)驗(yàn)對(duì)照發(fā)現(xiàn)分組有限空間的離線規(guī)劃方法能夠在一定程度降低標(biāo)準(zhǔn)測(cè)試問(wèn)