基于多智能體強(qiáng)化學(xué)習(xí)的足球機(jī)器人決策策略研究.pdf

1、分布式人工智能近十幾年受到了廣泛地關(guān)注與發(fā)展，多智能體系統(tǒng)也成為了研究的熱點(diǎn)，將其強(qiáng)化學(xué)習(xí)相結(jié)合，可以得到多智能體的強(qiáng)化學(xué)習(xí)。本文以一個(gè)典型的多智能體系統(tǒng)即足球機(jī)器人系統(tǒng)為研究對(duì)象，研究了多智能體的強(qiáng)化學(xué)習(xí)尤其是多智能體Q學(xué)習(xí)問題及其在足球機(jī)器人決策中的應(yīng)用問題。
　　首先，介紹了課題的研究背景和現(xiàn)狀，介紹了該課題所具有的重要的理論意義和實(shí)踐意義。對(duì)多智能體系統(tǒng)和足球機(jī)器人系統(tǒng)進(jìn)行了闡述。
　　其次，研究了智能體的強(qiáng)化學(xué)習(xí)問

2、題，對(duì)其基本概念與原理給予了分析。對(duì)智能體強(qiáng)化學(xué)習(xí)的框架模型即馬爾可夫決策過程進(jìn)行了研究，分析了其中的關(guān)鍵因素，包括回報(bào)、策略、值函數(shù)、動(dòng)作探索等。具體分析了三種強(qiáng)化學(xué)習(xí)算法，分別為TD算法、Q學(xué)習(xí)算法和Sarsa算法。給出了多智能體系統(tǒng)的描述方式，討論了多智能體系統(tǒng)的強(qiáng)化學(xué)習(xí)的特點(diǎn)和方法。
　　再次，將模擬退火算法的思想引入到智能體強(qiáng)化學(xué)習(xí)的動(dòng)作探索策略中，得到基于模擬退火的智能體Q學(xué)習(xí)算法，為學(xué)習(xí)中動(dòng)作的探索與利用提供了一個(gè)科

3、學(xué)的解決辦法，給出了基于模擬退火的智能體Q學(xué)習(xí)的算法流程。并將此算法應(yīng)用到足球機(jī)器人的尋球策略學(xué)習(xí)中，對(duì)其學(xué)習(xí)空間、獎(jiǎng)懲函數(shù)等進(jìn)行了分析與設(shè)計(jì)，并利用MATLAB平臺(tái)進(jìn)行了仿真驗(yàn)證。
　　最后，結(jié)合足球機(jī)器人決策的特點(diǎn)，對(duì)多智能體強(qiáng)化學(xué)習(xí)的角色轉(zhuǎn)換和經(jīng)驗(yàn)共享進(jìn)行了分析，提出了基于角色轉(zhuǎn)換和經(jīng)驗(yàn)共享的多智能體Q學(xué)習(xí)。并將其應(yīng)用到足球機(jī)器人的局部進(jìn)攻策略中，利用此算法對(duì)隊(duì)伍中的主機(jī)器人的動(dòng)作選擇策略進(jìn)行學(xué)習(xí)，并利用MATLAB平臺(tái)進(jìn)行