強化學習維數(shù)災問題解決方法研究.pdf

1、本文針對強化學習任務中存在的一個普遍且重要的問題“維數(shù)災”困難，即狀態(tài)空間的大小隨著特征數(shù)量的增加而發(fā)生指數(shù)級的增長，提出兩種方法從不同的角度來解決“維數(shù)災”困難和優(yōu)化強化學習方法。同時，在所提理論的基礎上，以Eclipse為開發(fā)平臺，在SWT的基礎上，開發(fā)了俄羅斯方塊游戲，將其作為算法的實驗平臺，從而對相應的方法進行實驗效果的驗證。同時又將強化學習理論應用到Ad Hoc網(wǎng)絡路由選擇算法中，集中解決了路由效率、能源開銷、安全性等相關問題

2、。 本文的主要研究成果概括為以下四個方面： (1)分析研究了強化學習中的“維數(shù)災”問題，并在此基礎上提出了一種大規(guī)模離散空間中的高斯強化學習方法。實驗結(jié)果表明，結(jié)合了高斯過程的強化學習方法在各方面性能，如收斂速度以及最終實驗效果等都有所提高。 (2)針對強化學習的“維數(shù)災”問題和算法收斂速度過慢的困難，提出了一種基于動作分值的分層強化學習獎賞優(yōu)化方法。使用了動作分值和分層思想的強化學習方法可以達到優(yōu)化獎賞函數(shù)和加

3、快收斂速度的效果。實驗結(jié)果表明，使用了該方法的強化學習算法能顯著提高算法的收斂速度和實驗效果。 (3)以俄羅斯方塊游戲為實驗平臺，將上述方法應用于其中，分析各個算法的優(yōu)劣和各類參數(shù)的性能比較，并提出可以進一步改進的實驗效果的若干思想。 (4)以Ad Hoc網(wǎng)絡為應用平臺，將相關的強化學習方法應用于Ad Hoc網(wǎng)絡路由選擇過程中，從綜合的角度來解決Ad Hoc網(wǎng)絡中存在的路由效率、能源開銷、安全性、自適應性等路由選擇問題。