SA-FQL算法在區(qū)域交通控制中的應用研究.pdf

1、相對于單路口控制，區(qū)域交通控制能夠獲得整體最優(yōu)的效果。傳統(tǒng)的區(qū)域交通控制方法需要建立整個區(qū)域交通系統(tǒng)的模型，但由于城市交通系統(tǒng)是一個典型的非線性、動態(tài)時變的、不確定性的復雜大系統(tǒng)，因此建立其精確的數(shù)學模型非常困難。Q學習算法無需模型且能實現(xiàn)在環(huán)境中學習控制策略，適合戰(zhàn)略控制，為區(qū)域交通控制提供了新思路。 然而，Q學習算法自身還存在一些問題，如學習速度慢，動作選取中的擴張與探索之間的平衡問題等。為使Q學習算法更好地應用于區(qū)域交通控

2、制，論文主要在以下方面進行了研究： 1.研究了目前幾種常見的Q學習改進算法，分析了它們在解決上述Q學習算法問題上的不足之處，并針對這些不足，提出了一種新的Q學習改進算法--SA-FQL算法。SA-FQL算法首先將模糊推理系統(tǒng)引入Q學習，利用模糊推理系統(tǒng)能夠將先驗知識嵌入到模糊規(guī)則的優(yōu)點，提高學習速度。然后，再引入模擬退火算法的Metropolis準則，通過算法進行過程中溫度等參數(shù)的變化來自動調節(jié)探索與擴張的比例，從而實現(xiàn)探索和擴

3、張之間的平衡。 2.研究SA-FQL算法在區(qū)域交通控制中的應用，提出一種基于SA-FQL算法的區(qū)域交通控制方法。首先利用SA-FQL算法優(yōu)化區(qū)域的公共周期，然后在給定周期的基礎上再用SA-FQL算法優(yōu)化區(qū)域中各干線相鄰兩路口的相位差，最后根據(jù)交通流量確定各路口的綠信比。 3.介紹了交通仿真軟件TSIS，用VC++6.0編寫RTE接口程序并利用TSIS對本文控制方法、基于Q學習算法的控制方法和基于模糊Q學習算法的控制方法進