Multi-Agent Reinforcement Learning Through Weighted Experience Sharing.pdf

1、強(qiáng)化學(xué)習(xí)允許通過獎(jiǎng)勵(lì)和懲罰完成agents編程，而不用指定如何實(shí)現(xiàn)這個(gè)目標(biāo)。Multi-agent強(qiáng)化學(xué)習(xí)是multi-agent環(huán)境中強(qiáng)化學(xué)習(xí)概念的一個(gè)延伸。從一個(gè)單獨(dú)的agent的觀點(diǎn)，multi-agent系統(tǒng)不同于single-agent系統(tǒng)最重要的因素在于環(huán)境的變化可以被其他agents決定。
　　 當(dāng)每個(gè)agent學(xué)習(xí)，加強(qiáng)，并行的改變其行為，每個(gè)獨(dú)立的agent面臨著在一個(gè)動(dòng)態(tài)的環(huán)境中學(xué)習(xí)的困難。加之該領(lǐng)域內(nèi)在不確

2、定因素和其他agent有意的采用不確定的方式影響該環(huán)境。因此所有multi-agent系統(tǒng)可以視為具有動(dòng)態(tài)的環(huán)境，收斂保障，例如Bellman-style single-agent的收斂技術(shù)已經(jīng)不再適用。
　　 在multi-agent系統(tǒng)領(lǐng)域的研究專注于有效的協(xié)調(diào)各個(gè)自治的agent來完成任務(wù)同時(shí)也達(dá)到較高的系統(tǒng)性能。Multi-agent協(xié)調(diào)的挑戰(zhàn)包括單個(gè)目的控制，各個(gè)提供不完整信息的agent的局部觀點(diǎn)，各agent私有的

3、目的和解決程序，異步通訊，動(dòng)態(tài)環(huán)境和不確定性。協(xié)商機(jī)制包括兩種:第一種，團(tuán)隊(duì)合作機(jī)制，這種機(jī)制中各agent協(xié)調(diào)合作完成一個(gè)整體目標(biāo);第二種每個(gè)agent自私的試圖完成各自的目的機(jī)制，一個(gè)極端的情況是每個(gè)agent都是對(duì)手，都試圖完成各自的目標(biāo)甚至影響損害其他agent。
　　 本文提出了一個(gè)新的基于加權(quán)經(jīng)驗(yàn)共享的multi-agent強(qiáng)化學(xué)習(xí)觀念。在這個(gè)新的觀念中，每個(gè)agent都從其他agent的經(jīng)驗(yàn)中獲得好處然后添加到自己