基于交替跟蹤的分布式多智能體合作學習算法研究.pdf

1、本文以合作式多智能體系統(tǒng)為研究對象，研究應用強化學習對多智能體系統(tǒng)的合作策略進行優(yōu)化，其中關鍵問題主要包括學習降維、信度分配與收斂證明三個方面。本文研究的思路來源于強化學習理論，其相關定義以離散環(huán)境為基礎展開，由于其良好的自學習性質廣泛應用于合作式的多智能體系統(tǒng)。同時，隨著多智能體系統(tǒng)理論研究的進展，對理論在實際中的應用要求進一步提高。然而，“維數(shù)災”問題突出、學習效率低下以及無收斂性理論保證等阻礙了其在合作式多智能體系統(tǒng)的推廣和應用。

2、
　　本文針對合作式多智能體強化學習中的降維、信度分配以及收斂理論三個關鍵問題進行研究。在分布式強化學習的降維手段基礎上，提出一種新的多智能體合作學習框架——交替跟蹤學習。一方面通過降維的Q學習緩解維數(shù)災，另一方面基于交替跟蹤學習框架提高學習效率的同時保證合作策略的收斂，并實現(xiàn)學習智能體的信度分配。此外，針對分布式的多智能體同時學習進行了初步的探討。
　　首先，以強化學習基本理論框架為對比基礎，結合分布式多智能體合作學習環(huán)境

3、，定義了新型的降維的獎勵以及值函數(shù)。從適應性角度分析了最佳響應學習的合理性，假設非學習智能體策略穩(wěn)定環(huán)境下，提出了降維的最佳響應學習算法，并證明了其收斂性。
　　其次，在定義降維跟蹤學習值函數(shù)的基礎之上，提出一種交替跟蹤的分布式多智能體合作學習框架，并重點分析了框架的策略搜索、降維、同時學習等特點。并針對實際應用，給出了框架下多智能體進行交替學習的切換機制。此外，在個體獎勵已知情況下，將現(xiàn)有的最佳響應算法融入交替跟蹤框架，形成一種

4、完全合作式的分布式多智能體強化學習算法。個體獎勵相同條件下，多智能體合作推箱子作為仿真對象，驗證了所提算法的正確性和有效性。
　　再次，為進一步擴展算法的應用范圍，針對一般的合作式多智能體系統(tǒng)，個體獎勵未知情況下，提出采用隨機逼近方式獲取學習智能體的個體獎勵以實現(xiàn)信度分配。同樣，建立在交替跟蹤的交替學習框架下，結合基于信度分配的最佳響應學習算法，克服了個體獎勵的逼近問題，提出了一般合作式多智能體系統(tǒng)的強化學習算法。以多智能體合作推