基于多Agent強(qiáng)化學(xué)習(xí)的RoboCup局部策略研究.pdf

1、強(qiáng)化學(xué)習(xí)是人工智能領(lǐng)域中一種重要的用于解決學(xué)習(xí)控制問(wèn)題的方法。但是經(jīng)典強(qiáng)化學(xué)習(xí)算法在解決RoboCup局部策略訓(xùn)練問(wèn)題時(shí)，仍然存在算法收斂速度緩慢，無(wú)法有效解決訓(xùn)練中存在的環(huán)境不確定性、多Agent協(xié)作與通信以及多目標(biāo)特性等問(wèn)題。針對(duì)強(qiáng)化學(xué)習(xí)算法應(yīng)用于RoboCup局部策略訓(xùn)練時(shí)所存在的收斂速度緩慢和無(wú)法有效解決局部策略訓(xùn)練多目標(biāo)特性這兩個(gè)問(wèn)題，本文提出了相應(yīng)的改進(jìn)方法，其研究?jī)?nèi)容主要包括以下四個(gè)方面:
　　 (1)針對(duì)累積立即

2、獎(jiǎng)賞值形式存在的收斂速度慢、容易陷入局部最優(yōu)等問(wèn)題，提出了一種非累積的立即獎(jiǎng)賞值形式，將其結(jié)合到經(jīng)典的強(qiáng)化學(xué)習(xí)方法中，形成了基于非累積立即獎(jiǎng)賞值形式的強(qiáng)化學(xué)習(xí)方法。將該方法應(yīng)用到機(jī)器人足球1對(duì)1射門訓(xùn)練中，實(shí)驗(yàn)結(jié)果表明，非累積立即獎(jiǎng)賞值形式在該問(wèn)題上的收斂速度和訓(xùn)練效果都要優(yōu)于累積立即獎(jiǎng)賞值形式。
　　 (2)針對(duì)平均獎(jiǎng)賞強(qiáng)化學(xué)習(xí)固有的收斂度慢的問(wèn)題，提出了一種改進(jìn)的強(qiáng)化學(xué)習(xí)算法。同時(shí)，為了處理訓(xùn)練中產(chǎn)生的大狀態(tài)空間問(wèn)題，提高泛

3、化能力，該算法結(jié)合了BP神經(jīng)網(wǎng)絡(luò)作為近似函數(shù)。將該方法運(yùn)用于Keepaway局部訓(xùn)練中，訓(xùn)練結(jié)果表明，該算法具有較快的收斂速度和較強(qiáng)的泛化能力。
　　 (3)針對(duì)多目標(biāo)強(qiáng)化學(xué)習(xí)問(wèn)題，提出了一種基于最大集合期望損失的多目標(biāo)強(qiáng)化學(xué)習(xí)算法——LRGM算法。該算法預(yù)估各個(gè)目標(biāo)的最大集合期望損失，在平衡各個(gè)目標(biāo)的前提下，選擇最佳聯(lián)合動(dòng)作以產(chǎn)生最優(yōu)聯(lián)合策略。
　　 (4)針對(duì)強(qiáng)化學(xué)習(xí)結(jié)合非線性函數(shù)泛化不收斂的問(wèn)題，提出基于改進(jìn)的MS