強(qiáng)化學(xué)習(xí)導(dǎo)論習(xí)題冊(cè)

1、1強(qiáng)化學(xué)習(xí)導(dǎo)論習(xí)題冊(cè)一、強(qiáng)化學(xué)習(xí)相關(guān)問題1.請(qǐng)列舉三個(gè)能夠用強(qiáng)化學(xué)習(xí)框架描述的例子，并確定每個(gè)例子的狀態(tài)、動(dòng)作以及相應(yīng)的回報(bào)值。請(qǐng)盡量列舉三個(gè)不同的例子，并針對(duì)其中一個(gè)例子，歸納在建模過程中的一些限制因素。答：迷宮，俄羅斯方塊等。2.強(qiáng)化學(xué)習(xí)框架是否能夠用來描述所有的具有目標(biāo)導(dǎo)向的任務(wù)？如果不可以，你是否可以舉一個(gè)反例？答：可以。3.駕駛問題。你可以根據(jù)油門、方向盤、剎車，也就是你身體能接觸到的機(jī)械來定義動(dòng)作。或者你可以進(jìn)一步定義它們，

2、當(dāng)車子在路上行駛時(shí)，將你的動(dòng)作考慮為輪胎的扭矩。你也可以退一步定義它們，首先用你的頭腦控制你的身體，將動(dòng)作定義為通過肌肉抖動(dòng)來控制你的四肢。或者你可以定義一個(gè)高層次的動(dòng)作，比如動(dòng)作就是目的地的選擇。上述哪一個(gè)定義能夠正確描述環(huán)境與Agent之間的界限？哪一個(gè)動(dòng)作的定義比較恰當(dāng)，并闡述其原因？答：第一個(gè)動(dòng)作的定義比較恰當(dāng)，Agent與環(huán)境的界限是指有Agent所能絕對(duì)控制的的范圍，并不是指有關(guān)Agent所有的信息，題中將司機(jī)抽象成一個(gè)Ag

3、ent，那么，由司機(jī)所能直接操作的只有油門，剎車和方向盤。4.假設(shè)將平衡桿問題抽象成一個(gè)情節(jié)式任務(wù)，同時(shí)也添加折扣因子來計(jì)算回報(bào)值（對(duì)于每個(gè)狀態(tài)的立即獎(jiǎng)賞，設(shè)定失敗狀態(tài)的獎(jiǎng)賞為0，其他狀態(tài)的獎(jiǎng)賞為1）。在該情況下，每個(gè)狀態(tài)的回報(bào)函數(shù)如何設(shè)定？該回報(bào)函數(shù)與公式（3.2）有何不同？答：回報(bào)函數(shù)：????????????KkktkKtKtttrrrrR01121????與公式（3.2）的區(qū)別就是，在任務(wù)描述中是否存在吸收狀態(tài)，在公式中的體現(xiàn)就

4、是，對(duì)立即獎(jiǎng)賞的累加是否無窮。5.機(jī)器人迷宮問題。對(duì)其中的獎(jiǎng)賞做如下設(shè)定，機(jī)器人走出迷宮，獎(jiǎng)賞為＋1，而在其它情況下獎(jiǎng)賞為0。這個(gè)任務(wù)看上去可以抽象成一個(gè)情節(jié)式任務(wù)（以走出迷宮作為一個(gè)情節(jié)的結(jié)束），目標(biāo)是將期望回報(bào)值最大化，如公式（3.1）所示。但是在agent學(xué)習(xí)一段時(shí)間后，你會(huì)發(fā)現(xiàn)對(duì)于Agent來說，走出迷宮的任務(wù)毫無進(jìn)展。那么，這里問題出在什么地方？如何做出改進(jìn)提高性能？答：?jiǎn)栴}出在回報(bào)值的設(shè)定上，題中設(shè)定，機(jī)器人走出迷宮的獎(jiǎng)賞為

5、1，其他情況為0，那么，對(duì)于每個(gè)狀態(tài)來說，根據(jù)公式（3.1），每個(gè)狀態(tài)的回報(bào)值都為1，因此對(duì)于機(jī)器人的走向沒有任何的導(dǎo)向作用。對(duì)于該問題的改進(jìn)可以使用上個(gè)問題的回報(bào)函數(shù)，即添加折扣因子?；蛘撸瑢?duì)于回報(bào)可以按一下方式進(jìn)行設(shè)定，走出迷宮獎(jiǎng)賞為0，其他情況獎(jiǎng)賞為1。6.破損視覺系統(tǒng)問題。假設(shè)你是一個(gè)視覺系統(tǒng)。當(dāng)你第一次開機(jī)的時(shí)候，一整幅圖像涌入你的攝像頭。你能夠看到很多東西，但不是所有東西，比如你無法看到被某一物體遮擋住的東西，或者是你背后的

6、東西。在你看到第一個(gè)場(chǎng)景之后，你是否可以認(rèn)為，你所接觸的環(huán)境具有馬爾科夫性，其中的狀態(tài)是馬爾科夫狀態(tài)？再假設(shè)你是一個(gè)破損的視覺系統(tǒng)，你的攝像頭壞了，這種情況，你接收不到任何影像，那么在這種情況下，是否可以認(rèn)為你所接觸的環(huán)境具有馬爾科夫性，其中的狀態(tài)是馬爾科夫狀態(tài)？3KsVC?????)(即：)1(???CK11.考慮在情節(jié)式任務(wù)中，對(duì)每個(gè)狀態(tài)的立即獎(jiǎng)賞加上一個(gè)常量C，比如迷宮問題。這樣對(duì)最終結(jié)果是否有影響？這種情況對(duì)于連續(xù)式任務(wù)是否有影

7、響，比如針對(duì)上一個(gè)問題中的格子世界？給出解釋。答：，對(duì)于最終的結(jié)果沒有影響，通過學(xué)習(xí)，最終是要能夠得出一組最優(yōu)策略，而對(duì)于每個(gè)狀態(tài)的具體值是多少不關(guān)注，關(guān)注的是值之間的一個(gè)差異性。12.每個(gè)狀態(tài)的狀態(tài)值函數(shù)的值是由當(dāng)前狀態(tài)下的動(dòng)作值函數(shù)的值以及動(dòng)作的選擇概率說確定的。我們可以用一幅回溯圖來表示它們之間的關(guān)系：根據(jù)上圖，給出和之間的等量關(guān)系。)(sV?)(asQ?答：)()()(asQassVa?????13.動(dòng)作值函數(shù)的值可以被分成兩部

8、分，期望立即獎(jiǎng)賞值，該值不依賴與策略)(asQ??，和后續(xù)回報(bào)值的累加和，該值依賴于后續(xù)狀態(tài)和策略。我們依然用一個(gè)回溯圖來?表示，根節(jié)點(diǎn)是一個(gè)動(dòng)作（狀態(tài)動(dòng)作對(duì)），分支節(jié)點(diǎn)是可能的后續(xù)狀態(tài)：根據(jù)上圖，給出和之間的等量關(guān)系。)(asQ?)(sV?答：)()(sVRPasQasssass??????14.根據(jù)高爾夫球問題，描述最優(yōu)狀態(tài)值函數(shù)。答：對(duì)與每次球的落點(diǎn)，根據(jù)動(dòng)作driver和putter所能到達(dá)的不同落點(diǎn)和每個(gè)落點(diǎn)的狀態(tài)值，確定下一