強化學(xué)習(xí)及其在城市交通信號控制中的應(yīng)用研究.pdf

1、交通擁堵已經(jīng)成為現(xiàn)代社會中城市及其周圍區(qū)域普遍存在的問題而且越來越嚴重，交通信號控制作為調(diào)節(jié)交通網(wǎng)絡(luò)中交通流的主要方式，所以優(yōu)化交通信號控制是解決交通擁堵問題行之有效的方法。由于交通流具有高度的動態(tài)性和隨機性，又因為交通信號控制問題本身是一個順序決策問題，所以將強化學(xué)習(xí)應(yīng)用到交通流控制是較合適的。將交通信號控制系統(tǒng)看成交通網(wǎng)絡(luò)中所有交叉口控制器Agent組成的分布式的多 Agent系統(tǒng)，并將強化學(xué)習(xí)方法應(yīng)用到這個多 Agent系統(tǒng)，設(shè)計

2、并開發(fā)基于強化學(xué)習(xí)的交通信號控制方法來實現(xiàn)自適應(yīng)交通控制是解決交通擁擠和交通擁堵的主要方法之一。
　　在本文的研究中，首先，對基于模型的強化學(xué)習(xí)在交通信號控制中的應(yīng)用進行了探索和研究。本文改進 TC1交通信號控制方法而給出了TCSG交通信號控制方法。TCSG方法通過考慮車輛長度進而合理計算車輛的目的車道的擁堵信息實現(xiàn)了多個交叉口控制器 Agent的協(xié)作。通過在GLD中進行大量的仿真實驗表明，TCSG方法優(yōu)于TC1方法。
　　

3、其次，對模型無關(guān)的強化學(xué)習(xí)在交通信號控制中的應(yīng)用進行了探索和研究。設(shè)計和實現(xiàn)了DMFQ交通信號控制方法、QSGWE交通信號控制方法、DMFQV交通信號控制方法，DMFS交通信號控制方法和SSGWE交通信號控制方法，它們都采用基于車輛的建模方法來解決以前的基于模型無關(guān)的強化學(xué)習(xí)的交通信號控制方法的狀態(tài)空間爆炸問題，實現(xiàn)了多交叉口控制器 Agent的共享協(xié)作，采用“等待投票機制”預(yù)測并選擇每個交叉口控制器 Agent的最優(yōu)動作。在GLD中進