基于生成式對抗網(wǎng)絡(GAN)的自動駕駛?cè)蒎e感知研究.pdf

1、典型的自動駕駛系統(tǒng)中，安裝了攝像機、激光雷達和毫米波雷達等多個類型的傳感器。傳感器模仿了人類的感知功能，用于獲取車道線，檢測障礙物等環(huán)境感知任務。自動駕駛的環(huán)境非常復雜，傳感器尤其是基于視覺的傳感器會出現(xiàn)由于設備本身突然故障導致圖像采集不到，由于相機偶然被遮擋不能采集到完整的圖像，或者由于光線短時間內(nèi)變強導致圖像曝光過度的情況。在計算機視覺中，圖像生成是近年來興起的新技術(shù)，但是關于圖像生成技術(shù)在自動駕駛場景中的應用研究非常少。因此本論文

2、針對自動駕駛視覺傳感器可能會出現(xiàn)的突發(fā)失效問題，提出了自動駕駛系統(tǒng)感知容錯模塊的概念，探究了圖像生成技術(shù)在感知容錯模塊的若干應用，并針對特定問題與應用，改進了模型、損失函數(shù)與訓練方法。其中重點對車道線圖像增強與檢測，感知端的圖像容錯預測以及基于視角生成網(wǎng)絡的圖像恢復與SLAM容錯應用三個方面開展了研究。
　　主要研究工作和成果包括如下幾個方面:
　　(1)介紹了一種新的，更魯棒的車道線圖像增強與檢測思路。在非結(jié)構(gòu)化道路沒有車

3、道線，某些道路的車道線被磨平和腐蝕，或者車道線被遮擋的情況下，車道線檢測是一個非常大的挑戰(zhàn)。針對這種復雜環(huán)境下的車道線檢測問題，本論文首先應用圖像生成網(wǎng)絡Pix2Pix完成端對端的車道線圖像增強，再將生成的圖像用于車道線檢測。這是圖像生成技術(shù)在車道線圖像增強與檢測方向上的首次應用。該算法可以無縫嵌入到圖像感知模塊和成熟的車道線檢測算法中去，提高了傳統(tǒng)車道線檢測算法的容錯能力。本論文在Prescan數(shù)據(jù)集上的實驗證明了該方案的可行性，并提

4、供了一些工程經(jīng)驗。
　　(2)提出了一種新的感知預測模型。本論文針對視覺感知過程中可能存在的突然曝光過度或者感知設備偶然被遮擋導致圖像質(zhì)量不高的問題，提出了新的視頻幀預測與生成模型。該模型在前人提出的圖像金字塔特征提取和生成式GAN網(wǎng)絡訓練框架的基礎之上，添加了新的卷積特征損失函數(shù)，改善了生成圖像模糊的問題。同時還對生成器網(wǎng)絡中傳統(tǒng)的金字塔結(jié)構(gòu)提出改進，通過建立卷積特征共享層，降低了參數(shù)和計算量，從而減少了測試階段的圖像生成時間，

5、使得實時預測成為可能。模型預測的圖像實現(xiàn)了感知端的容錯，可以用于輔助自動駕駛的決策層;同時該圖像也可以在端對端的強化學習中作為預測輸入，對決策做出前饋微調(diào)。在KITTI和Pacman數(shù)據(jù)集上的訓練測試結(jié)果證明了改進模型能夠更快地生成更加清晰的圖像。
　　(3)提出了新的基于視角生成網(wǎng)絡的圖像恢復模型，實現(xiàn)了SLAM的容錯應用。該研究針對雙目攝像機某一目圖像短時失效的問題，提出了根據(jù)該目恢復另一目視角圖像，從而保證SLAM系統(tǒng)正常工

6、作的方案，實現(xiàn)了感知容錯。文章在經(jīng)典圖像生成網(wǎng)絡Pix2Pix的基礎上，逐步添加了深度估計網(wǎng)絡和深度信息的輸入，基于STN網(wǎng)絡的圖像重建損失以及基于圖像修復網(wǎng)絡的圖像補全損失三個方面的改進。改進模型在兩個通用的自動駕駛數(shù)據(jù)集KITTI和Cityscapes上的實驗證實了網(wǎng)絡對圖像的生成質(zhì)量有了很大的提高。本論文后處理部分導出了深度估計網(wǎng)絡的深度信息中間結(jié)果，同時將生成的圖像用于雙目視覺系統(tǒng)的重建，實驗結(jié)果表明該方案能夠?qū)崿F(xiàn)系統(tǒng)在一定誤差