基于高斯回歸的連續(xù)空間多智能體強化學(xué)習(xí)算法研究.pdf

1、本文以多智能體系統(tǒng)為研究對象，研究應(yīng)用強化學(xué)習(xí)智能獲取多智能體系統(tǒng)的行為策略，其中關(guān)鍵問題主要包括空間泛化與學(xué)習(xí)降維兩個方面。最初，強化學(xué)習(xí)理論及其相關(guān)定義是以離散環(huán)境為基礎(chǔ)展開討論的，而實際應(yīng)用環(huán)境的內(nèi)在連續(xù)性大大地限制了強化學(xué)習(xí)的適應(yīng)范圍，使得空間泛化成為提高強化學(xué)習(xí)的實用性的一個重要步驟。同時，隨著多智能體系統(tǒng)理論研究的進展，強化學(xué)習(xí)理論也從簡單的單智能體強化學(xué)習(xí)發(fā)展到復(fù)雜的多智能體強化學(xué)習(xí)。然而，在多智能體系統(tǒng)環(huán)境下，學(xué)習(xí)和存儲

2、空間將隨著智能體個數(shù)的增加而呈指數(shù)級增長，“維數(shù)災(zāi)難”問題更加突出，導(dǎo)致學(xué)習(xí)效率低下，甚至破壞學(xué)習(xí)的收斂性。
　　本文針對多智能體強化學(xué)習(xí)中的空間泛化與學(xué)習(xí)降維兩個關(guān)鍵問題進行研究。一方面，通過建立狀態(tài)值函數(shù)模型、狀態(tài)-動作對值函數(shù)模型、策略函數(shù)模型分別實現(xiàn)狀態(tài)空間、動作空間、策略空間的泛化。另一方面提出一種基于聯(lián)合狀態(tài)-個體動作的降維Q函數(shù)定義，實現(xiàn)學(xué)習(xí)空間與存儲空間的雙重降維，同時采用基于模型的學(xué)習(xí)方法提高學(xué)習(xí)效率。
　

3、　首先，根據(jù)強化學(xué)習(xí)基本定義，結(jié)合多智能體系統(tǒng)應(yīng)用環(huán)境，討論多智能體強化學(xué)習(xí)的一般框架及其相對應(yīng)的典型算法。分析多智能體強化學(xué)習(xí)中泛化與降維這兩個問題的本質(zhì)，并給出解決問題的總體思路與理論指導(dǎo)。
　　其次，假設(shè)已知環(huán)境聯(lián)合獎賞函數(shù)、非學(xué)習(xí)智能體執(zhí)行靜態(tài)穩(wěn)定策略，在定義降維跟蹤學(xué)習(xí)值函數(shù)的基礎(chǔ)之上，提出一種基于高斯回歸的連續(xù)空間多智能體跟蹤學(xué)習(xí)算法。通過高斯回歸方法建立值函數(shù)模型實現(xiàn)空間泛化，采用基于模型的學(xué)習(xí)方法提高學(xué)習(xí)效率，并從

4、時間復(fù)雜度、空間復(fù)雜度兩個方面分析算法性能。
　　再次，為進一步擴展算法的適應(yīng)性，突破上述假設(shè)條件，提出改進型多智能體連續(xù)空間基于模型的跟蹤學(xué)習(xí)算法。通過觀察環(huán)境對系統(tǒng)的聯(lián)合鑒賞與記錄個體歷史鑒賞，采用一種新型的個體鑒賞函數(shù)迭代逼近方法，獲取智能體個體鑒賞函數(shù)。此外，在線建立實時的行為策略模型，用于改進學(xué)習(xí)樣本空間的更新方法。
　　然后，在MAS MBRL-CPT算法的基礎(chǔ)上，引入基于分時學(xué)習(xí)的協(xié)調(diào)機制，使得所有智能體均能通