mba論文面向強(qiáng)化學(xué)習(xí)的規(guī)劃優(yōu)化方法研究pdf

1、 碩士學(xué)位論文 論文題目 面向強(qiáng)化學(xué)習(xí)的規(guī)劃優(yōu)化方法研究 研 究 生 姓 名 孫洪坤 指導(dǎo)教師姓名 劉 全（教授） 專 業(yè) 名 稱 管理科學(xué)與工程 研 究 方 向 人工智能與知識系統(tǒng) 論文提交日期 2013.06 面向強(qiáng)化學(xué)習(xí)的規(guī)劃優(yōu)化方法研究 中文摘要 I 面向強(qiáng)化學(xué)習(xí)的規(guī)劃優(yōu)化方法研究 中文摘要 面向強(qiáng)

2、化學(xué)習(xí)的規(guī)劃優(yōu)化方法研究 中文摘要 強(qiáng)化學(xué)習(xí)(reinforcement learning, RL)是一類重要的機(jī)器學(xué)習(xí)方法， 在智能機(jī)器人、經(jīng)濟(jì)學(xué)、 工業(yè)制造和博弈等領(lǐng)域得到了廣泛的應(yīng)用。 強(qiáng)化學(xué)習(xí)是一種從環(huán)境狀態(tài)到動作映射的學(xué)習(xí)， 并期望動作從環(huán)境中獲得的累積獎賞最大。 強(qiáng)化學(xué)習(xí)可分為兩個基本的過程：學(xué)習(xí)過程與規(guī)劃過程。學(xué)習(xí)是指 Agent 與環(huán)境直接交互的過程，并在此過程中利用獲得的直接經(jīng)驗來更新值函數(shù)以改進(jìn)策略。 規(guī)劃是指在環(huán)境

3、模型中進(jìn)行學(xué)習(xí)的過程，并在此過程中利用模型產(chǎn)生的模擬經(jīng)驗來更新值函數(shù)以改進(jìn)策略。 針對強(qiáng)化學(xué)習(xí)方法在處理大狀態(tài)空間問題時候存在的 “維數(shù)災(zāi)” 及收斂速度慢等普遍的嚴(yán)重問題， 本文從提升規(guī)劃收斂性能的角度出發(fā)， 分別針對模型已知和模型未知的強(qiáng)化學(xué)習(xí)任務(wù)提出了 2 種優(yōu)化的強(qiáng)化學(xué)習(xí)算法，主要研究內(nèi)容概括如下： (1) 提出了一種基于拓?fù)湫蛄懈碌闹档惴ā猇I-TS 算法，以提升傳統(tǒng)值迭代算法的收斂速度和穩(wěn)定性。VI-TS 算法通過構(gòu)造任

4、務(wù)模型的有向圖，分解出有向圖的強(qiáng)連通變量， 依照拓?fù)湫蛄杏嬎銖?qiáng)連通分量中狀態(tài)的值函數(shù)， 以實現(xiàn)整個任務(wù)的求解。分解后的狀態(tài)空間維度降低了，且算法迭代掃描的次數(shù)大幅減少，使得規(guī)劃效率顯著提高。VI-TS 算法使用啟發(fā)式搜索剔除動作空間中的非優(yōu)動作，使得算法具有普遍適用性。 本文分析了 VI-TS 算法收斂性， 并通過實驗來檢驗算法的收斂性和適用性。(2) 提出了一種基于優(yōu)先級掃描的 Dyna 結(jié)構(gòu)優(yōu)化算法—Dyna-PS 算法， 以進(jìn)一步

5、提高傳統(tǒng) Dyna 結(jié)構(gòu)的收斂速度和收斂精度。Dyna-PS 算法在 Dyna 結(jié)構(gòu)規(guī)劃部分采用優(yōu)先級掃描算法的思想，對優(yōu)先級函數(shù)值高的狀態(tài)優(yōu)先更新，剔除了傳統(tǒng)值迭代、策略迭代過程中不相關(guān)和無更新意義的狀態(tài)更新， 提升了規(guī)劃的收斂效率， 從而進(jìn)一步提升了 Dyna 結(jié)構(gòu)算法的性能。本文在理論上對 Dyna-PS 的收斂性進(jìn)行了證明，且通過實驗驗證了 Dyna-PS 算法的性能并做了相關(guān)分析。 關(guān)鍵詞： 關(guān)鍵詞：強(qiáng)化學(xué)習(xí)，規(guī)劃，拓?fù)湫蛄校?/p>