基于性能勢的智能體學(xué)習(xí)與規(guī)劃方法研究.pdf

1、強(qiáng)化學(xué)習(xí)和智能規(guī)劃是當(dāng)前人工智能領(lǐng)域的研究熱點(diǎn)。生活中的眾多順序決策問題都可以用馬爾科夫決策過程(MDP)進(jìn)行描述，基于MDP的性能勢理論為上述問題的求解優(yōu)化提供了一種新的理論框架，它可以利用樣本軌道的估算對參數(shù)未知的系統(tǒng)進(jìn)行在線優(yōu)化和求解。當(dāng)系統(tǒng)狀態(tài)轉(zhuǎn)移矩陣、獎勵函數(shù)等參數(shù)未知時(shí)，強(qiáng)化學(xué)習(xí)通常被用來對系統(tǒng)的最優(yōu)策略進(jìn)行學(xué)習(xí)，該特點(diǎn)使其能夠很好地與性能勢理論相結(jié)合，從而得出更有效率的在線優(yōu)化算法。
　　然而，近年來隨著人工智能應(yīng)用

2、領(lǐng)域的擴(kuò)展，求解具有不確定性的大規(guī)模規(guī)劃問題成為了人工智能理論發(fā)展的難點(diǎn)之一。針對智能體決策問題研究中的“維數(shù)災(zāi)難”，本文提出了一種結(jié)合啟發(fā)式搜索的學(xué)習(xí)方法，并通過RoboCup機(jī)器人足球2D仿真平臺，分析該算法的模型及其有效性。
　　本文主要的工作如下:
　　首先，對強(qiáng)化學(xué)習(xí)、性能勢理論及啟發(fā)式搜索方法進(jìn)行了基本介紹，對它們的發(fā)展?fàn)顩r做了闡述，并分析在求解問題過程中各自的優(yōu)勢及缺點(diǎn)，同時(shí)說明了這些方法在機(jī)器人足球中的研究意

3、義。
　　針對強(qiáng)化學(xué)習(xí)和性能勢理論在求解大規(guī)模規(guī)劃問題中求解過程不穩(wěn)定和收斂速度過慢的缺點(diǎn)，本文提出了一個(gè)新的算法——基于性能勢的A*平均強(qiáng)化學(xué)習(xí)算法。它結(jié)合性能勢理論與啟發(fā)式函數(shù)，根據(jù)啟發(fā)式策略確定動作的選擇，從而加快學(xué)習(xí)收斂速度。最后通過強(qiáng)化學(xué)習(xí)標(biāo)準(zhǔn)測試工具箱中的Grid-World實(shí)驗(yàn)場景對算法的有效性進(jìn)行了測試和分析。
　　本文基于RoboCup機(jī)器人足球2D仿真平臺中通過簡化的機(jī)器人足球領(lǐng)域——keepaway，根

4、據(jù)Option理論設(shè)計(jì)了智能體的動作生成器，結(jié)合GA*-learning算法并應(yīng)用到智能體的決策過程中，使球員的個(gè)人技術(shù)得以提高。
　　綜上所述，本文根據(jù)強(qiáng)化學(xué)習(xí)與性能勢相關(guān)理論，提出了基于性能勢的A*平均強(qiáng)化學(xué)習(xí)算法，并通過一系列實(shí)驗(yàn)數(shù)據(jù)分析，驗(yàn)證了該算法的有效性。同時(shí)，我們把本文的研究成果應(yīng)用到2D仿真隊(duì)伍GDUT_TiJi的代碼設(shè)計(jì)中，并參加了2013年的中國機(jī)器人大賽暨RoboCup公開賽和2013年RoboCup世界杯賽