多智能體系統(tǒng)的學(xué)習(xí)策略研究.pdf

1、強(qiáng)化學(xué)習(xí)是一種無監(jiān)督學(xué)習(xí)方法，它能夠使智能體在環(huán)境模型未知的情況下利用環(huán)境獎賞發(fā)現(xiàn)最優(yōu)的行為序列，因此被廣泛用于多智能體系統(tǒng)中（如RoboCup足球仿真系統(tǒng)）。目前主流的強(qiáng)化學(xué)習(xí)算法是Q學(xué)習(xí)算法，Q學(xué)習(xí)算法的應(yīng)用能夠大大改善系統(tǒng)的性能，但Q學(xué)習(xí)也存在不如人意的地方。本論文針對Q學(xué)習(xí)算法的學(xué)習(xí)速度慢這一問題進(jìn)行了深入的探討，提出結(jié)合啟發(fā)知識函數(shù)的Q學(xué)習(xí)算法，改進(jìn)了標(biāo)準(zhǔn)Q學(xué)習(xí)算法的效果。本文主要內(nèi)容如下： 首先，簡要介紹了本課題的研

2、究內(nèi)容、目的意義、國內(nèi)外發(fā)展?fàn)顩r和研究方法等，針對機(jī)器學(xué)習(xí)是人工智能領(lǐng)域研究的熱點，及在多智能體系統(tǒng)的廣泛應(yīng)用。對比分析了機(jī)器學(xué)習(xí)的各種學(xué)習(xí)策略，闡述了它們的基本原理、結(jié)構(gòu)、分類和適合應(yīng)用的系統(tǒng)環(huán)境。結(jié)合RoboCup仿真系統(tǒng)的特點，我們最終選擇強(qiáng)化學(xué)習(xí)作為改善我們球隊協(xié)作策略的主要算法。然后，論文闡述了強(qiáng)化學(xué)習(xí)理論的原理、組成要素和分類。對比分析了強(qiáng)化學(xué)習(xí)四種算法的學(xué)習(xí)原理、結(jié)構(gòu)特點和適用對象?；谖覀兎抡媲蜿牭膶嶋H情況，橫向比較了幾

3、種強(qiáng)化學(xué)習(xí)應(yīng)用于球隊協(xié)作策略的效果，選擇以Q學(xué)習(xí)算法為本文的主要改進(jìn)算法。 其次，針對標(biāo)準(zhǔn)Q學(xué)習(xí)算法學(xué)習(xí)速度慢的缺點，本文提出一種基于啟發(fā)知識的改進(jìn)型Q學(xué)習(xí)算法，該算法在標(biāo)準(zhǔn)的Q學(xué)習(xí)算法中加入具有啟發(fā)知識的函數(shù)來影響學(xué)習(xí)過程中智能體動作選擇，從而加快了智能體在復(fù)雜環(huán)境中的學(xué)習(xí)速度。然后，提出了一種具有啟發(fā)知識的并行Q學(xué)習(xí)算法，在該算法中，參與學(xué)習(xí)的各智能體獨立的執(zhí)行基于啟發(fā)知識的Q學(xué)習(xí)算法的同時，智能體通過交流學(xué)習(xí)成果、融合啟發(fā)

4、知識、共享學(xué)習(xí)結(jié)果，提高整個多智能體系統(tǒng)的學(xué)習(xí)效率。 最后，論文利用Matlab仿真驗證了啟發(fā)式Q學(xué)習(xí)算法的有效性并給出了兩個實例。實例中的智能體能夠通過學(xué)習(xí)快速的選擇動作，其學(xué)習(xí)速度和決策判斷的準(zhǔn)確度比標(biāo)準(zhǔn)Q學(xué)習(xí)算法都有明顯的提高。我們將啟發(fā)式Q學(xué)習(xí)算法應(yīng)用于RoboCup仿真球隊中，并與應(yīng)用了標(biāo)準(zhǔn)Q學(xué)習(xí)算法的球隊進(jìn)行比賽。結(jié)果顯示，啟發(fā)式Q學(xué)習(xí)算法的球隊隊員協(xié)作能力遠(yuǎn)遠(yuǎn)強(qiáng)于標(biāo)準(zhǔn)Q學(xué)習(xí)算法的球隊。相比較于標(biāo)準(zhǔn)的Q學(xué)習(xí)算法，智能