基于CE-Q強化學習與K-means聚類混合算法的多機器人覓食任務研究.pdf

1、多Agent（機器人）系統(tǒng)在適用性、經(jīng)濟性、魯棒性、靈活性和容錯性等方面相比單Agent具有巨大的優(yōu)越性，非常適合在惡劣、危險、影響人類健康環(huán)境下代替人類完成實際生產(chǎn)甚至軍事領(lǐng)域中的復雜工作。如果多Agent系統(tǒng)要真正發(fā)揮作用，使其自適應環(huán)境的學習控制方法是非常重要的。強化學習方法作為目前被廣泛關(guān)注的機器學習方法，能夠使Agent具有在線的自學習能力，因此被廣泛應用于多Agent系統(tǒng)的行為學習領(lǐng)域。目前對于多Agent強化學習算法及其應

2、用的研究主要集中在強化算法自身的收斂問題和使Agent兼顧自身和整體利益的問題上，以及實際應用中存在由于計算復雜度過高和‘維度災難’導致的無法連續(xù)學習的問題和系統(tǒng)效率不高的問題上。
　　本文針對以上問題，展開了以下的研究:
　　將Q算法推廣應用于多Agent系統(tǒng)，介紹了在此基礎(chǔ)上基于博弈論框架的多種強化算法。分析對比了這些算法在應用中的優(yōu)缺點，選擇了可以保證收斂性與理性，具有較低計算復雜度，但在實際應用中往往存在維度災難問題

3、的CE-Q(基于相關(guān)均衡解的多AgentQ算法)算法。
　　針對CE-Q算法在應用中存在的維度災難問題，利用K-Means算法對環(huán)境特征進行聚類，通過“環(huán)境狀態(tài)類-策略”的映射有效避免多Agent強化學習過程中的學習空間組合爆炸產(chǎn)生的維度災難問題。
　　提出對Agent動作過程進行獎賞的方法，在原有針對結(jié)果的即時獎賞當中加入即時的動作過程獎賞函數(shù)。Agent在完成任務的過程中往往要經(jīng)歷一系列動作，動作過程獎賞函數(shù)對每個動作都

4、進行獎賞，使Agent能夠更充分地利用自身產(chǎn)生的經(jīng)驗，大大降低了Agent通過錯誤、低效率動作獲得獎賞的概率。
　　最后進行了仿真實驗驗證。利用Matlab7.0及Multi-Agent toolbox程序包構(gòu)建了仿真實驗平臺，以具有廣泛應用背景的多Agent覓食為實驗任務，對三種常用的強化算法進行仿真實驗與相互比較。仿真結(jié)果表明了改進后的CE-Q算法在應用中具有有效性和優(yōu)越性。
　　本文提出的改進CE-Q強化學習與K-me