基于逆向強(qiáng)化學(xué)習(xí)的報(bào)酬函數(shù)構(gòu)建.pdf

1、近幾年來(lái),強(qiáng)化學(xué)習(xí)和學(xué)徒學(xué)習(xí)作為機(jī)器學(xué)習(xí)的兩個(gè)子領(lǐng)域得到了極大的發(fā)展。在目前的強(qiáng)化學(xué)習(xí)技術(shù)中,報(bào)酬函數(shù)的自動(dòng)構(gòu)建是迫切需要解決的問(wèn)題。對(duì)于學(xué)徒學(xué)習(xí),首先要構(gòu)建出專家的報(bào)酬函數(shù)才能從專家的演示軌跡中得到專家的控制策略。本論文的研究?jī)?nèi)容是報(bào)酬函數(shù)的自動(dòng)構(gòu)建問(wèn)題,該問(wèn)題被稱為逆向強(qiáng)化學(xué)習(xí)問(wèn)題。逆向強(qiáng)化學(xué)習(xí)的思想是在一個(gè)馬爾可夫決策過(guò)程問(wèn)題中,觀察專家在其中的行為軌跡,并依據(jù)該專家軌跡還原或近似“還原”與其對(duì)應(yīng)的專家報(bào)酬函數(shù),解決了一些環(huán)境中不

2、能具體描述報(bào)酬函數(shù)的問(wèn)題。
　　本文的研究?jī)?nèi)容分為兩個(gè)方面。一方面將基于靈敏度的學(xué)習(xí)優(yōu)化問(wèn)題的思想與標(biāo)準(zhǔn)逆向強(qiáng)化學(xué)習(xí)相結(jié)合,得到一種基于靈敏度的逆向強(qiáng)化學(xué)習(xí)分析框架。該分析框架將報(bào)酬函數(shù)僅與狀態(tài)有關(guān)的基本逆向強(qiáng)化學(xué)習(xí)推廣到報(bào)酬函數(shù)不僅與狀態(tài)有關(guān)而且與行動(dòng)有關(guān)的情況。另一方面將逆向強(qiáng)化學(xué)習(xí)算法分為兩大類,并對(duì)這兩類方法加以比較。一類是在值函數(shù)空間內(nèi)的方法,另一類是在策略空間內(nèi)的方法,其中在值函數(shù)空間內(nèi)的方法包括基于最大邊際的逆向強(qiáng)化