基于學(xué)習(xí)與對(duì)策的多代理協(xié)同計(jì)算.pdf

1、本文首先提出了一種新的多代理在線學(xué)習(xí)算法LU-Q,該算法通過對(duì)聯(lián)合行動(dòng)不斷地實(shí)施剪枝,減少可選行動(dòng)數(shù)目,加快多代理學(xué)習(xí)的收斂.實(shí)驗(yàn)表明,算法學(xué)習(xí)性能優(yōu)于標(biāo)準(zhǔn)多代理Q學(xué)習(xí).在此基礎(chǔ)上,結(jié)合MAXQ任務(wù)分解,提出UMAXQ-Q算法.MAXQ任務(wù)分解圖建立任務(wù)的遞進(jìn)結(jié)構(gòu)有利于狀態(tài)及行動(dòng)空間的壓縮,簡(jiǎn)化學(xué)習(xí),因此,代理協(xié)同的學(xué)習(xí)將會(huì)變得更加有效.代理通過多層次間的合作學(xué)習(xí),最終實(shí)現(xiàn)最高層次上的合作.UMAXQ-Q算法可根據(jù)問題需要選擇協(xié)作的層數(shù)

2、,具有很大的靈活性,與基于頂層協(xié)作的多代理遞進(jìn)學(xué)習(xí)算法相比較,具有明顯優(yōu)點(diǎn).本文通過仿真實(shí)驗(yàn)驗(yàn)證了算法的性能.考慮到代理對(duì)行動(dòng)策略存在不同的偏好,通過建立代理聯(lián)合行動(dòng)策略域上的模糊集合,本文定義了不同決策心態(tài)及意圖的策略隸屬度函數(shù),提出了代理模糊收益的概念,并提出策略學(xué)習(xí)算法-沖量最小梯度增加學(xué)習(xí)算法M-IGA.分析了其它基于微小梯度增加算法存在的問題,指出可通過在策略學(xué)習(xí)迭代中增加沖量項(xiàng)保證代理策略的收斂,解決了其它算法存在的問題,并