RoboCup仿真2D系統(tǒng)的研究.pdf

1、RoboCup機器人世界杯賽是近年來規(guī)模最大并且參與人數(shù)最多的高智能機器人足球比賽，其中仿真2D組比賽更是RoboCup世界杯中最古老的比賽項目之一，其中的多agent智能系統(tǒng)協(xié)作問題也是當前最熱門的研究方向之一。它為研究人員提供了一個標準的比賽平臺、命令和動作接口。RoboCup聯(lián)盟期望通過提供這樣的一個標準問題，鼓勵研究人員通過各種技術手段來獲得人工智能和MAS(Multi-agent System，多智能體系統(tǒng))方面的解決方案，并

2、且可以通過該平臺進行測試和實踐。
　　 在RoboCup聯(lián)盟提供比賽平臺的基礎上，各個學校和研究機構開始研究學習算法，使得每個agent具有一定的學習能力，這樣才能保證在比賽中球隊能立于不敗之地，其中Q學習是最廣泛采用的學習算法之一。
　　 本文在Q學習基礎上對球隊的改進如下:
　　 1、采用隨機對策的決策過程來代替單agent的馬爾可夫決策過程以解決MDP決策過程不能對球場的狀態(tài)變化有很好的反應的問題
　

3、　 2、根據(jù)隨機對策的內(nèi)容將復雜的球場環(huán)境分成三種情況分別討論（自己控球，我方控球和對方控球），并確定每種情況對應不同的狀態(tài)-動作對。
　　 3、通過對球場的精確劃分和采用相應的補充控制方法，來對Q學習中的關鍵參數(shù)獎賞值進行計算以確保獎賞值的連續(xù)性和單調(diào)性，同時根據(jù)此參數(shù)和改進的算法來更新Q值使得機器人的學習效果更好。
　　 實驗證明，通過對局部范圍內(nèi)的機器人都采用此算法，可以讓球員間在局部范圍內(nèi)的協(xié)作能力有明顯的加強