基于智能體系統(tǒng)的Q-學(xué)習(xí)算法的研究與改進.pdf

1、強化學(xué)習(xí)是一種無監(jiān)督學(xué)習(xí)方法，使智能體能夠在環(huán)境模型未知的情況下利用環(huán)境獎賞發(fā)現(xiàn)最優(yōu)的行為序列，因此被廣泛用于智能體系統(tǒng)中。Q-學(xué)習(xí)算法是最易理解和目前廣為使用的一種無模型強化學(xué)習(xí)方法，但標(biāo)準(zhǔn)的 Q-學(xué)習(xí)算法應(yīng)用于智能體系統(tǒng)時本身存在一些問題。 首先，強化學(xué)習(xí)在與環(huán)境交互時，不得不采用試探的方法來學(xué)習(xí)策略，同時智能體僅僅靠外部的評價來調(diào)整自己的行為，這勢必要經(jīng)過一個漫長的學(xué)習(xí)過程。其次標(biāo)準(zhǔn)的 Q-學(xué)習(xí)算法通常用于處理離散狀態(tài)的問

2、題，但是智能體系統(tǒng)所處的環(huán)境通常是狀態(tài)空間連續(xù)的。如何解決在連續(xù)狀態(tài)環(huán)境下多智能體學(xué)習(xí)問題，也是許多學(xué)者研究的課題。基于此本文針對Q-學(xué)習(xí)算法在智能體系統(tǒng)中應(yīng)用時遇到的這些問題，對 Q-學(xué)習(xí)算法進行了一些改進和擴充，改善其在智能體系統(tǒng)中應(yīng)用的學(xué)習(xí)效果。 本文的主要研究工作如下： 首先，針對強化學(xué)習(xí)學(xué)習(xí)速度慢的缺點，本文提出一種基于啟發(fā)知識的 Q-學(xué)習(xí)算法，該算法在標(biāo)準(zhǔn)的Q．學(xué)習(xí)算法中加入具有啟發(fā)知識的函數(shù)來影響學(xué)習(xí)過程中

3、智能體動作選擇，從而加快智能體在復(fù)雜環(huán)境中的學(xué)習(xí)速度。仿真結(jié)果表明，相比較于標(biāo)準(zhǔn)的 Q-學(xué)習(xí)算法，智能體通過學(xué)習(xí)可以更快學(xué)習(xí)到正確決策，有效提高了智能體學(xué)習(xí)速度。 同時，提出一種具有啟發(fā)知識的并行 Q-學(xué)習(xí)算法，在該算法中，參與學(xué)習(xí)的各智能體獨立的執(zhí)行基于啟發(fā)知識的 Q-學(xué)習(xí)算法，智能體通過交流學(xué)習(xí)成果、融合啟發(fā)知識、共享學(xué)習(xí)結(jié)果，提高整個多智能體系統(tǒng)的學(xué)習(xí)效率。將算法應(yīng)用在多智能體仿真環(huán)境中，取得了較好的學(xué)習(xí)效果。 最

4、后，提出了一種結(jié)合模塊化學(xué)習(xí)的模糊Q．學(xué)習(xí)算法，解決連續(xù)狀態(tài)空間下的多智能體強化學(xué)習(xí)問題。算法利用模糊推理對狀態(tài)空間進行泛化，同時采用了模塊化的方法，將復(fù)雜的任務(wù)進行分解以減小狀態(tài)空間的規(guī)模，提高學(xué)習(xí)效率。并且應(yīng)用一種非均勻的表示結(jié)構(gòu)來設(shè)計強化函數(shù)，對不同的動作給予不同的獎勵和懲罰。最后將提出的算法應(yīng)用在多智能體捕獵的仿真環(huán)境中，從仿真的曲線中可以明顯的看出來，捕獵智能體的移動步數(shù)逐漸達到平穩(wěn)，有效的完成了學(xué)習(xí)過程，系統(tǒng)整體性能達到了最