群機器人追捕目標問題的研究.pdf

1、群機器人追捕目標問題作為群機器人系統(tǒng)的一類典型協(xié)作問題，它研究的是一群機器人如何通過合作去有效地捕獲另一群逃跑的機器人。群機器人追捕目標問題是研究多智能體機器人系統(tǒng)中有關(guān)群體機器人合作與協(xié)調(diào)、競爭與對抗的理想問題，它涵蓋了實時視覺處理、無線通訊、實時動態(tài)路徑規(guī)劃、多機器人分布式協(xié)調(diào)與控制、多機器人規(guī)劃與學習、機器人團隊之間的競爭與合作等多學科、多領域知識。
　　本文在國家自然科學基金項目“基于多智能體協(xié)調(diào)的機器人系統(tǒng)控制”的資助下

2、，依靠特定的問題背景以探索群體機器人的協(xié)作機制為導向，以提高群體機器人的協(xié)作效率為目的，對群機器人追捕目標的問題進行了系統(tǒng)深入地研究。主要包括如下幾個方面：
　　第一，基于概率框架，深入研究了群機器人合作目標搜索問題。發(fā)現(xiàn)目標是追捕目標的前提，然而在群機器人追捕目標問題已有的工作中卻鮮有這方面的研究成果。當目標的位置未知時，首要的問題應該是盡快地找到目標。為了有效地規(guī)劃路徑并搜索目標，本文基于概率框架首先研究了群機器人合作地圖創(chuàng)建

3、，提出了一種基于加權(quán)平均的群機器人地圖融合算法。然后基于概率地圖提出了幾種啟發(fā)式目標搜索策略，并給出了理論分析和詳細的仿真試驗。
　　第二，針對復雜、動態(tài)、開放的環(huán)境下群體機器人追捕多個目標的問題，本文首先對傳統(tǒng)的合同網(wǎng)協(xié)議從三個方面進行了擴展：引入基于范例的推理以降低任務協(xié)商過程中的通信耗費；然后通過構(gòu)造多屬性招標決策框架以提高招標活動的科學和規(guī)范化；最后通過允許合同違約來提高系統(tǒng)的魯棒性和動態(tài)優(yōu)化的能力。在上述基礎上，提出了一

4、種群機器人追捕多個目標的任務分配算法，以實現(xiàn)群體機器人基于任務級的協(xié)作。
　　第三，有效的協(xié)作策略是群機器人追捕目標的核心研究問題。本文首先給出了兩種單智能體強化學習算法，即決策樹學習與Q-學習相結(jié)合的決策樹 Q-學習算法以及基于資格跡的思想提出的在線利益分配學習算法，并進行了理論分析。然后提出了一種采用模塊化學習結(jié)構(gòu)、Q-學習與利益分配學習算法結(jié)合、并綜合了對手建模技術(shù)的多智能體獨立強化學習算法，以此為基礎實現(xiàn)基于動作級的群機器

5、人追捕目標協(xié)作策略。試驗結(jié)果表明，該算法能夠顯著提高學習效率。最后，借鑒人類合作學習的特點，提出了一種基于策略共享的多智能體合作強化學習算法，用于提高群機器人協(xié)作追捕目標的效率。
　　第四，從基于行為的角度研究了在連續(xù)區(qū)域中群機器人追捕目標的問題。以基于運動圖式的機器人反應式控制結(jié)構(gòu)為基礎，設計并實現(xiàn)了群機器人追捕目標的四種基本行為，即奔向目標行為、避開障礙物行為、避讓隊友機器人行為以及收縮包圍行為。最后提出了一種基于行為控制參數(shù)