基于模型知識(shí)的大空間強(qiáng)化學(xué)習(xí)算法的研究與實(shí)現(xiàn).pdf

1、強(qiáng)化學(xué)習(xí)是一種無(wú)監(jiān)督的機(jī)器學(xué)習(xí)技術(shù)，能夠利用不確定的環(huán)境獎(jiǎng)賞發(fā)現(xiàn)最優(yōu)的行為序列，實(shí)現(xiàn)動(dòng)態(tài)環(huán)境下的在線學(xué)習(xí)，因此被廣泛用于Agent的智能決策。 Q學(xué)習(xí)算法是目前主流的強(qiáng)化學(xué)習(xí)算法之一，但Q學(xué)習(xí)本身存在一些問(wèn)題。首先，Q學(xué)習(xí)算法沒(méi)有充分利用學(xué)習(xí)過(guò)程中的經(jīng)驗(yàn)知識(shí)，致使算法收斂速度較慢；其次，Q學(xué)習(xí)算法不能適用于連續(xù)狀態(tài)空間和動(dòng)作空間的學(xué)習(xí)，雖然模糊強(qiáng)化學(xué)習(xí)算法可以在一定程度上解決此問(wèn)題，但是由于模糊隸屬函數(shù)的選取是建立在主觀經(jīng)驗(yàn)的基

2、礎(chǔ)上的，缺乏對(duì)求解問(wèn)題的真實(shí)描述。本文針對(duì)RoboCup中的具體問(wèn)題，結(jié)合其它學(xué)習(xí)方法對(duì)Q學(xué)習(xí)算法進(jìn)行了一些擴(kuò)充和改進(jìn)，使其適用于復(fù)雜環(huán)境下的Agent智能決策。本文的主要研究工作如下： (1)在Q學(xué)習(xí)算法的基礎(chǔ)上，通過(guò)對(duì)agent所處環(huán)境的學(xué)習(xí)，使其有效利用先前學(xué)習(xí)到的模型知識(shí)重新指導(dǎo)Q學(xué)習(xí)，減小搜索空間，從而節(jié)約時(shí)間，提高學(xué)習(xí)的收斂速度。并將這個(gè)算法應(yīng)用于RoboCup的射門問(wèn)題中，實(shí)現(xiàn)了射門問(wèn)題的優(yōu)化。 (2)在模