基于強(qiáng)化學(xué)習(xí)的多智能體協(xié)作與應(yīng)用的研究.pdf

1、多Agent系統(tǒng)(Multi-Agent System，MAS)是分布式人工智能(Distributed Artificial Intelligence，DAI)的一個(gè)主要領(lǐng)域，而多個(gè)Agent之間如何進(jìn)行組織協(xié)調(diào)和協(xié)作以實(shí)現(xiàn)共同目標(biāo)是MAS研究的核心問題。解決MAS的協(xié)作問題有許多方法，Agent的學(xué)習(xí)方法是其中很重要的一種。通過Agent的學(xué)習(xí)實(shí)現(xiàn)MAS的協(xié)調(diào)與協(xié)作是一個(gè)非常值得研究、具有挑戰(zhàn)性的課題。 本文將研究如何通過強(qiáng)

2、化Q-學(xué)習(xí)方法來實(shí)現(xiàn)多Agent之間學(xué)習(xí)與協(xié)作，主要工作包括： ●單Agent行為搜索方案的優(yōu)化多Agent系統(tǒng)的構(gòu)成單元是一個(gè)個(gè)單獨(dú)的Agent，很多個(gè)Agent的獨(dú)立學(xué)習(xí)構(gòu)成了多Agent系統(tǒng)的學(xué)習(xí)過程，那么要使用學(xué)習(xí)方法來實(shí)現(xiàn)多Agent之間的協(xié)作學(xué)習(xí)，首先要強(qiáng)化單個(gè)Agent的學(xué)習(xí)能力。原始的Q學(xué)習(xí)中采用的是非直接搜索的行為選擇方法(如ε-greedy、Boltzmann 策略)，Wiering在其論文中又提出了直接搜索

3、的方法。本文在以上工作的基礎(chǔ)上探索了一種能夠平衡Agent行為選擇中探索與利用關(guān)系的方法，利用遺忘函數(shù)作為加權(quán)系數(shù)，使Agent在剛開始搜索環(huán)境的時(shí)候能夠按照人為制定的搜索方法對(duì)環(huán)境進(jìn)行充分的探索，而在學(xué)習(xí)一段時(shí)間后則能使行為選擇逐漸趨向于貪婪策略。實(shí)驗(yàn)證明，這種方法較一般行為選擇策略，能更好的加速單Agent的學(xué)習(xí)進(jìn)程。 ●基于知識(shí)共享的多Agerlt學(xué)習(xí)方法傳統(tǒng)的多Agent系統(tǒng)中，每個(gè)Agent在完成自己獨(dú)立的學(xué)習(xí)過程之后

4、，并不能夠?qū)⒆约簩W(xué)到的知識(shí)與其他Agent共享。本文研究了一種多Agent知識(shí)共享的方法(Q Table Sharing，Q表共享法)來提高整個(gè)MAS系統(tǒng)學(xué)習(xí)能力和性能。在狀態(tài)空間較小時(shí)利用Q表來共享知識(shí)；在狀態(tài)空間較大時(shí)，利用Q表進(jìn)行知識(shí)的暫存與共享空間，利用小腦關(guān)節(jié)模型來完成最終Q值的存儲(chǔ)。實(shí)驗(yàn)證明，當(dāng)有多Agent同時(shí)學(xué)習(xí)時(shí)，這種方法不僅能強(qiáng)化每個(gè)組成Agent的學(xué)習(xí)能力，還可以提升多Agent系統(tǒng)的整體性能，學(xué)習(xí)效果也較單Age

5、nt的學(xué)習(xí)要穩(wěn)定很多。 ●基于疊加法的小腦關(guān)節(jié)模型(Cerebellar Model Articulation，CMAC) 強(qiáng)化學(xué)習(xí)算法傳統(tǒng)的CMAC都是利用哈希方法來解決輸入空間到記憶空間的映射沖突，減少輸入維數(shù)增加帶來的記憶空間急劇增大的問題，并且網(wǎng)絡(luò)的學(xué)習(xí)誤差只被分擔(dān)到了泛化參數(shù)(C)個(gè)單元上。本文采用了一種新的基于疊加法的狀態(tài)空間映射方法，可以使CMAC網(wǎng)絡(luò)在輸入向量維數(shù)很大的時(shí)候不僅可以避免映射沖突、減少網(wǎng)絡(luò)的存儲(chǔ)空間