多機(jī)器人追捕問題的研究.pdf

1、多機(jī)器人追捕問題是研究機(jī)器人之間協(xié)調(diào)和協(xié)作的最理想的平臺。將強(qiáng)化學(xué)習(xí)算法應(yīng)用到追捕問題當(dāng)中可以使多機(jī)器人系統(tǒng)主動(dòng)的去探索環(huán)境,適應(yīng)環(huán)境,從而提高自身的性能和穩(wěn)定性,而直接將標(biāo)準(zhǔn)的強(qiáng)化學(xué)習(xí)算法直接應(yīng)用于多機(jī)器人系統(tǒng)會使得系統(tǒng)的狀態(tài)空間隨機(jī)器人數(shù)量成指數(shù)倍增長,從而導(dǎo)致算法收斂速度緩慢,難以在實(shí)際中應(yīng)用。對此本文以降低系統(tǒng)狀態(tài)空間的大小,提高算法的收斂速度為目的,進(jìn)行了如下研究:
　　首先,介紹了強(qiáng)化學(xué)習(xí)算法的基本框架和它的數(shù)學(xué)模型,

2、并列舉了常用的強(qiáng)化學(xué)習(xí)算法及其算法流程。簡單描述了多機(jī)器人追捕問題及其狀態(tài)抽象、動(dòng)作抽象和回報(bào)函數(shù)的定義,并考慮到傳統(tǒng)狀態(tài)抽象法中存在狀態(tài)重復(fù)的問題,提出了動(dòng)態(tài)ID狀態(tài)抽象法來降低系統(tǒng)狀態(tài)空間的大小,并與傳統(tǒng)的狀態(tài)抽象法在使用標(biāo)準(zhǔn)Q學(xué)習(xí)算法的基礎(chǔ)上進(jìn)行比較。
　　其次,介紹了分層強(qiáng)化學(xué)習(xí)的基本原理,采用分層強(qiáng)化學(xué)習(xí)中的狀態(tài)空間分解法來將原狀態(tài)空間分為多個(gè)部分,即采用OPTION-Q學(xué)習(xí)算法使最優(yōu)策略的求解過程分散到每個(gè)子空間上,從