有關(guān)強(qiáng)化學(xué)習(xí)的若干問(wèn)題研究.pdf

1、強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)重要研究方向。強(qiáng)化學(xué)習(xí)系統(tǒng)通過(guò)對(duì)環(huán)境反復(fù)試探的方式，學(xué)習(xí)環(huán)境狀態(tài)到可執(zhí)行動(dòng)作的最優(yōu)反應(yīng)式映射策略，以獲取最大回報(bào)。相比于其它學(xué)習(xí)技術(shù)，強(qiáng)化學(xué)習(xí)的顯著優(yōu)勢(shì)在于它對(duì)先驗(yàn)知識(shí)的完備程度幾乎沒(méi)有要求，甚至在環(huán)境信息完全未知的情況下，強(qiáng)化學(xué)習(xí)仍具有較好的自適應(yīng)性和魯棒性。 現(xiàn)實(shí)世界中，大多數(shù)的學(xué)習(xí)問(wèn)題都具有狀態(tài)空間或動(dòng)作空間連續(xù)、任務(wù)描述難、目標(biāo)性能不唯一的特點(diǎn)，且對(duì)學(xué)習(xí)算法的實(shí)時(shí)性和自適應(yīng)能力有較高的要求。

2、因此，為了拓展強(qiáng)化學(xué)習(xí)的應(yīng)用范圍，本文在如何提高學(xué)習(xí)速度和學(xué)習(xí)效率、如何進(jìn)行合理的任務(wù)描述以及如何考慮多個(gè)性能指標(biāo)的問(wèn)題上，對(duì)強(qiáng)化學(xué)習(xí)進(jìn)行了較系統(tǒng)的研究。 系統(tǒng)地介紹了一種經(jīng)典強(qiáng)化學(xué)習(xí)算法--Q學(xué)習(xí)算法的基本原理、主要步驟和存在的問(wèn)題，并研究了它與其它幾種常用機(jī)器學(xué)習(xí)技術(shù)的組合。 研究了強(qiáng)化學(xué)習(xí)方法中的經(jīng)驗(yàn)存儲(chǔ)和利用問(wèn)題。在分析了已有的幾種有效的、相對(duì)獨(dú)立的經(jīng)驗(yàn)存儲(chǔ)和利用方法的基礎(chǔ)上，研究了一種將它們有機(jī)結(jié)合在一起的強(qiáng)化

3、學(xué)習(xí)算法，并根據(jù)學(xué)習(xí)狀態(tài)對(duì)時(shí)間的變化特性，對(duì)這種結(jié)合算法進(jìn)行了改進(jìn)，以提高學(xué)習(xí)經(jīng)驗(yàn)的利用率，從而提高了算法的學(xué)習(xí)性能。 研究了強(qiáng)化學(xué)習(xí)中的狀態(tài)空間壓縮技術(shù)。分別針對(duì)離散化的狀態(tài)空間和連續(xù)狀態(tài)空間的壓縮問(wèn)題，提出了基于信息熵的強(qiáng)化學(xué)習(xí)算法和基于自主生成神經(jīng)網(wǎng)絡(luò)函數(shù)逼近器的強(qiáng)化學(xué)習(xí)算法。前者利用對(duì)狀態(tài)與目標(biāo)之間的相關(guān)程度的度量，可以進(jìn)一步壓縮離散化的狀態(tài)空間；后者利用進(jìn)化算法的全局搜索能力來(lái)得到合適的函數(shù)逼近器結(jié)構(gòu)和參數(shù)，可以減輕對(duì)