基于分層強(qiáng)化學(xué)習(xí)的多agent路徑規(guī)劃與編隊(duì)方法研究.pdf

1、多agent系統(tǒng)的研究是當(dāng)今人工智能和自動化控制領(lǐng)域的最前沿方向。多agent系統(tǒng)在各行各業(yè)中都表現(xiàn)出了極大的應(yīng)用性，其自身所具有的分布性、魯棒性強(qiáng)以及良好的協(xié)作性和適應(yīng)性等優(yōu)點(diǎn)是單個agent系統(tǒng)所不具備的。在實(shí)際應(yīng)用中，多agent一般工作在未知動態(tài)環(huán)境中，環(huán)境中各種動、靜態(tài)障礙物的狀況是agent所不知道的，在處理這些突發(fā)情況的時候就要求agent具有較強(qiáng)感知環(huán)境和適應(yīng)環(huán)境的能力，強(qiáng)化學(xué)習(xí)的無環(huán)境模型學(xué)習(xí)能力使agent具有了自學(xué)

2、習(xí)和在線學(xué)習(xí)的能力，得到了越來越多研究者們的重視。但是，強(qiáng)化學(xué)習(xí)最大的缺陷就是遇到復(fù)雜任務(wù)的時候會出現(xiàn)“維數(shù)災(zāi)難”的問題。為了解決強(qiáng)化學(xué)習(xí)的“維數(shù)災(zāi)難”問題提出了分層強(qiáng)化學(xué)習(xí)算法，它以半馬爾科夫決策為基礎(chǔ)通過“抽象機(jī)制”把整個學(xué)習(xí)任務(wù)劃分成不同層次的子任務(wù)，對狀態(tài)空間降維，來解決“維數(shù)災(zāi)難”問題。其經(jīng)典的算法有HAM、MAXQ和Option。最后，本文運(yùn)用分層強(qiáng)化學(xué)習(xí)的思想來解決多agent系統(tǒng)中路徑規(guī)劃和編隊(duì)控制問題，其主要工作概括如

3、下:
　　(1)從路徑規(guī)劃算法收斂速度慢及效率低、適應(yīng)性差的角度出發(fā)，提出了一種基于分層強(qiáng)化學(xué)習(xí)及人工勢場的多agent路徑規(guī)劃算法。首先，對環(huán)境中的人工勢場進(jìn)行離差標(biāo)準(zhǔn)化處理構(gòu)建環(huán)境的先驗(yàn)知識，以此可以得到一個目標(biāo)點(diǎn)具有最大勢能，障礙物區(qū)域勢能值為零的單調(diào)遞增的曲面。最后，多agent以構(gòu)建的先驗(yàn)知識為基礎(chǔ)，利用分層強(qiáng)化學(xué)習(xí)的思想，使算法具有任務(wù)分層和良好的在線學(xué)習(xí)能力及自動劃分子任務(wù)的能力，從而更加適應(yīng)未知動態(tài)環(huán)境中路徑規(guī)劃任

4、務(wù)。算法依次在出租車問題和中視典三維仿真平臺中進(jìn)行了驗(yàn)證，結(jié)果顯示多agent對未知環(huán)境適應(yīng)性強(qiáng)，算法的收斂速度快且穩(wěn)定。
　　(2)針對現(xiàn)階段多agent編隊(duì)控制中常出現(xiàn)的環(huán)境適應(yīng)性差、agent無自學(xué)習(xí)能力和收斂速度慢等問題，本文提出了一種基于分層強(qiáng)化學(xué)習(xí)及CMAC神經(jīng)網(wǎng)絡(luò)的多agent動態(tài)編隊(duì)方法。首先，在多agent動態(tài)編隊(duì)中，引入“抽象機(jī)制”把整個任務(wù)分為根任務(wù)協(xié)作層，動作子任務(wù)選擇層和基本動作執(zhí)行層三個任務(wù)層次對狀態(tài)空