基于傳感器和強(qiáng)化學(xué)習(xí)的移動機(jī)器人導(dǎo)航研究.pdf

1、移動機(jī)器人是一門多學(xué)科相交叉的綜合性課題，它涉及的理論知識和技術(shù)方法十分廣泛，已成為機(jī)器人學(xué)、人工智能等領(lǐng)域的重要研究方向。目前其研究成果已經(jīng)在民用、工業(yè)和軍事中得到了廣泛的應(yīng)用。 傳感器系統(tǒng)是移動機(jī)器人獲取外界環(huán)境信息最重要的途徑，也是移動機(jī)器人執(zhí)行各種工作任務(wù)的基礎(chǔ)，感知系統(tǒng)的優(yōu)劣將直接影響移動機(jī)器人的性能和效率。因此本文對移動機(jī)器人視覺傳感器和超聲傳感器進(jìn)行了研究，目的是提高移動機(jī)器人感知系統(tǒng)的性能，使其能夠獲得更精確、更

2、完善的環(huán)境信息。 此外，如何提高移動機(jī)器人的自主能力和對環(huán)境的適應(yīng)性是實(shí)現(xiàn)移動機(jī)器人在不確定環(huán)境中完成復(fù)雜任務(wù)的關(guān)鍵問題。強(qiáng)化學(xué)習(xí)是一種有效的非監(jiān)督機(jī)器學(xué)習(xí)方法，應(yīng)用強(qiáng)化學(xué)習(xí)方法能夠使機(jī)器人在沒有教師信號指導(dǎo)的條件下，通過與環(huán)境的交互來掌握導(dǎo)航策略和行為能力。基于此，本文深入研究了強(qiáng)化學(xué)習(xí)的算法以及它在移動機(jī)器人中的應(yīng)用，目的是提高移動機(jī)器人的智能水平、自學(xué)習(xí)能力以及對環(huán)境的適應(yīng)性。 本文根據(jù)此背景展開了研究工作，主要對

3、移動機(jī)器人視覺系統(tǒng)，超聲傳感器系統(tǒng)，強(qiáng)化學(xué)習(xí)相關(guān)方法及其在移動機(jī)器人中的應(yīng)用，慎思、反應(yīng)式移動機(jī)器人導(dǎo)航等問題進(jìn)行了深入的研究，內(nèi)容如下： 首先，基于嵌入式智能移動機(jī)器人平臺，建立了分布式視覺系統(tǒng)結(jié)構(gòu)。對自主足球機(jī)器人視覺處理所涉及的關(guān)鍵技術(shù)和主要算法進(jìn)行了探討和研究。 然后，研究了移動機(jī)器人超聲傳感器信息融合方法，通過融合多個超聲傳感器信息來建立機(jī)器人工作環(huán)境的不確定性網(wǎng)格地圖。基于網(wǎng)格地圖進(jìn)行兩階段路徑規(guī)劃，實(shí)現(xiàn)移動

4、機(jī)器人的慎思式導(dǎo)航。 其次，分別提出了兩種表格型強(qiáng)化學(xué)習(xí)算法，并研究了它們在移動機(jī)器人反應(yīng)式行為學(xué)習(xí)中的應(yīng)用。第一種方法是使用矢量量化技術(shù)來量化強(qiáng)化學(xué)習(xí)的狀態(tài)空間，將矢量量化的碼書作為強(qiáng)化學(xué)習(xí)狀態(tài)空間的量化矢量，從而構(gòu)成表格型強(qiáng)化學(xué)習(xí)算法。另一種為基于模糊極小—極大神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)在線狀態(tài)空間分割方法，可以在強(qiáng)化學(xué)習(xí)進(jìn)行的同時完成狀態(tài)空間的自適應(yīng)分割。 再次，研究了一種基于函數(shù)逼近的強(qiáng)化學(xué)習(xí)方法，通過模糊神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)

5、強(qiáng)化學(xué)習(xí)狀態(tài)空間到動作空間的映射，并使用殘差算法來完成網(wǎng)絡(luò)的誤差反向傳播學(xué)習(xí)。同時應(yīng)用該方法實(shí)現(xiàn)了移動機(jī)器人復(fù)雜導(dǎo)航任務(wù)的學(xué)習(xí)。接著，針對強(qiáng)化學(xué)習(xí)收斂速度過慢的問題，研究了提高強(qiáng)化學(xué)習(xí)速度的方法。分別通過嵌入專家知識和使用經(jīng)驗(yàn)回放技術(shù)來提高強(qiáng)化學(xué)習(xí)算法的執(zhí)行效率。 之后，對自適應(yīng)啟發(fā)評價(AHC)強(qiáng)化學(xué)習(xí)算法進(jìn)行了研究，并使用它來實(shí)現(xiàn)移動機(jī)器人路徑跟蹤行為的學(xué)習(xí)，AHC的評價單元使用前向神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)。AHC的動作單元由模糊推理