基于混合抽象機制的多智能體系統(tǒng)動態(tài)分層強化學習算法研究.pdf

1、強化學習因具有自學習和在線學習的良好特性，已經(jīng)成為機器學習領(lǐng)域的一個重要分支。然而，強化學習本身存在“維度災(zāi)難”問題，所需的存儲空間和計算量很大。因此，將強化學習應(yīng)用到多智能體系統(tǒng)時，隨著智能體個數(shù)的增加，動作空間和狀態(tài)空間呈指數(shù)級增長，會加劇“維度災(zāi)難”問題，學習效率非常低下，導(dǎo)致多智能體系統(tǒng)難以及時甚至無法完成學習任務(wù)。因此，如果能有效緩解“維度災(zāi)難”問題，提出一種適用于未知大規(guī)模復(fù)雜環(huán)境下的高效率強化學習方法，則可以為提高多智能體

2、系統(tǒng)在實際應(yīng)用中的自適應(yīng)性提供有效的解決方案，對促進機器學習領(lǐng)域理論和技術(shù)的發(fā)展具有重要意義。
　　 為提高復(fù)雜環(huán)境下多智能體策略學習的效率，論文研究將分層強化學習技術(shù)和基于模型的強化學習技術(shù)相結(jié)合的方法，針對分層條件下智能體策略學習、策略空間動態(tài)分層，以及多智能體系統(tǒng)動態(tài)分層與策略學習相結(jié)合這三個多智能體系統(tǒng)動態(tài)分層強化學習算法研究的關(guān)鍵問題，闡述了結(jié)合Bayesian學習和MAXQ學習方法的靜態(tài)分層強化學習算法(Bayesi

3、an-MAXQ);進而研究狀態(tài)抽象技術(shù)，實現(xiàn)基于概率模型的動態(tài)分層強化學習算法(DHRL-Model)，通過分析合作式多智能體系統(tǒng)策略學習的特征，對DHRL-Model進行擴展，將動作抽象和狀態(tài)抽象相結(jié)合，實現(xiàn)多智能體系統(tǒng)的基于探索信息自適應(yīng)聚類的多智能體動態(tài)分層強化學習方法(MADHRL-ACEI)。
　　 具體而言，論文的研究主要包括下述幾個方面:
　　 (1)動態(tài)未知環(huán)境下動態(tài)分層學習的可行性分析
　　 論

4、文首先從強化學習的本質(zhì)出發(fā)，分析引起“維度災(zāi)難”的原因。進而通過分析和比較多種分層學習方法，闡述狀態(tài)抽象和動作抽象思想在緩解“維度災(zāi)難”的優(yōu)勢和不足，以及靜態(tài)分層學習在動態(tài)未知環(huán)境下的缺陷。針對MAXQ靜態(tài)分層架構(gòu)的特點，運用狀態(tài)抽象和動作抽象思想，分析基于模型學習方法實現(xiàn)MAXQ值函數(shù)分解的可行性，并提出實現(xiàn)MAXQ動態(tài)分層的關(guān)鍵問題。
　　 (2)提出一種基于模型的靜態(tài)分層強化學習算法Bayesian-MAXQ為了充分利用基

5、于模型法（如貝葉斯學習）學習效率高的特點和MAXQ分層框架具有良好在線學習能力的優(yōu)勢，論文研究融合貝葉斯學習和MAXQ值函數(shù)分解算法的方法，解決分層條件下貝葉斯學習中的數(shù)據(jù)記錄和值函數(shù)迭代更新問題。主要的改進包括:增加一個維度用于表示子任務(wù)的標號，實現(xiàn)與MAXQ狀態(tài)空間的統(tǒng)一;增加位于所有層次內(nèi)狀態(tài)-動作對之間的聯(lián)系，建立狀態(tài)轉(zhuǎn)移的前向和逆向拓撲關(guān)系;改進Prioritized Sweeping算法中的優(yōu)先級計算方程，實現(xiàn)分層框架下值函

6、數(shù)的動態(tài)規(guī)劃求解。最終提出一種基于模型的靜態(tài)分層強化學習算法Bayesian-MAXQ，并通過典型的出租車任務(wù)驗證了Bayesian-MAXQ算法的有效性。
　　 (3)提出一種基于概率模型的動態(tài)分層強化學習算法(DHRL-Model)
　　 Bayesian-MAXQ算法只是改善了已知分層結(jié)構(gòu)下強化學習的效率。為了滿足在未知大規(guī)模復(fù)雜動態(tài)環(huán)境中的應(yīng)用需求，論文研究運用狀態(tài)抽象思想實現(xiàn)MAXQ分層結(jié)構(gòu)的動態(tài)實現(xiàn)方法。通過

7、研究基于子目標的狀態(tài)聚類方法，實現(xiàn)子目標狀態(tài)點的自動識別，并基于子目標狀態(tài)集合實現(xiàn)類MAXQ分層結(jié)構(gòu)的自動分層和學習過程中分層結(jié)構(gòu)的動態(tài)更新。在動態(tài)分層基礎(chǔ)上，運用Bayesian-MAXQ算法搜索智能體解空間動態(tài)分層條件下的遞歸最優(yōu)策略。從而形成DHRL-Model算法，顯著提高未知環(huán)境下智能體的學習效率。
　　 (4)提出一種基于探索信息自適應(yīng)聚類的多智能體動態(tài)分層強化學習算法(MADHRL-ACEI)
　　 為了緩

8、解合作式多智能體強化學習過程中面臨的嚴重“維度災(zāi)難”問題，提高多智能體系統(tǒng)的學習效率以滿足未知復(fù)雜多智能體環(huán)境下的應(yīng)用需求，論文研究并提出一種基于探索信息自適應(yīng)聚類的多智能體動態(tài)分層強化學習方法MADHRL-ACEI。通過研究基于狀態(tài)自反周期的多智能體動作抽象算法，融合單智能體DHRL-Model算法中的狀態(tài)聚類方法，提出了基于探索信息自適應(yīng)聚類的多智能體動態(tài)分層算法，實現(xiàn)在動態(tài)未知環(huán)境下，多智能體系統(tǒng)類MAXQ結(jié)構(gòu)的自動生成和動態(tài)優(yōu)化