基于自主和自學(xué)習(xí)行為智能體的AUV運動規(guī)劃研究.pdf

1、本論文以國家重大基礎(chǔ)研究項目“水下無人潛器技術(shù)”為背景，對基于行為主義的智能體技術(shù)在自治式水下機器人(Autonomous underwatervehicle，簡稱AUV)運動規(guī)劃中的應(yīng)用展開了深入地研究。論文的研究旨在提高AUV自主作業(yè)過程中對環(huán)境的適應(yīng)性、反應(yīng)的快速性以及決策的有效性。 論文主要完成以下的研究工作： 針對動態(tài)不確定環(huán)境下的AUV運動規(guī)劃問題，將智能體的行為看作是AUV和環(huán)境之間交互的一個動態(tài)變化的過程

2、，提出并闡釋了行為動力學(xué)方法，并利用該方法建立了AUV水平面的自主行為智能體。仿真結(jié)果表明自主行為智能體對非結(jié)構(gòu)環(huán)境響應(yīng)快速，正確、有效。 垂直面運動規(guī)劃對AUV下潛深度及距底高度均有特殊要求，而單獨的定高航行或定深航行難以同時滿足。本文建立了基于模糊推理的AUV垂直面自主行為智能體，對定高航行行為和定深航行行為進行融合。仿真結(jié)果說明垂直面自主行為智能體在保證AUV自身安全的同時，盡可能滿足了聲學(xué)儀器對距底高度的要求，此外正常航

3、行時AUV不隨海底地形起伏而頻繁改變深度，使得航行穩(wěn)定。 為了對AUV空間運動規(guī)劃中水平面和垂直面自主行為智能體進行協(xié)調(diào)，提出了基于使命分解和任務(wù)執(zhí)行語句的行為協(xié)調(diào)機制。該機制的原理是：將使命分解成若干個能夠順序執(zhí)行的任務(wù)，針對特定任務(wù)定義任務(wù)執(zhí)行語句，任務(wù)執(zhí)行語句將任務(wù)轉(zhuǎn)換為并發(fā)的自主行為智能體，再按照優(yōu)先級規(guī)則對并發(fā)行為進行協(xié)調(diào)。進行了仿真驗證，結(jié)果證明提出的自主行為智能體及協(xié)調(diào)機制正確、可行。 針對傳統(tǒng)強化學(xué)習(xí)方法

4、應(yīng)用于AUV工程實際的不足，如學(xué)習(xí)的泛化性差、試錯帶來的風(fēng)險性以及學(xué)習(xí)效率低等，提出了基于神經(jīng)網(wǎng)絡(luò)和案例的Q學(xué)習(xí)算法(NCQL)。NCQL的基本思想是用神經(jīng)網(wǎng)絡(luò)解決Q學(xué)習(xí)的泛化問題；用案例學(xué)勻保證學(xué)習(xí)過程的收斂性、避免試錯的風(fēng)險及提高學(xué)習(xí)效率。給出了基于NCQL的AUV自學(xué)習(xí)行為智能體各要素的實現(xiàn)方法。進行了仿真，仿真結(jié)果可以看出，提出的NCQL算法收斂性能好、收斂速度快并且收斂到的結(jié)果較優(yōu)化。NCQL算法具有在線學(xué)習(xí)和自適應(yīng)學(xué)習(xí)的特點

5、。 論文從自主控制體系結(jié)構(gòu)頂層設(shè)計要求出發(fā)，設(shè)計了含行為智能體的混合式AUV自主控制系統(tǒng)。采用有色Petri網(wǎng)(CPN)作為工具，對所提出的結(jié)構(gòu)進行了形式化建模，利用CPN的數(shù)學(xué)理論分析了模型基本特性，包括有界性、活性和互斥性。形式化分析驗證了AUV自主控制體系結(jié)構(gòu)以上性質(zhì)的正確性和有效性。 為了綜合驗證本文所提出的各主要方法，分別進行了聲吶湖上試驗、縮尺度模擬試驗和半實物仿真試驗。本文從聲學(xué)傳播和聲吶物理特性考慮，提出

6、了一種數(shù)字濾波算法，對多波束前視聲吶探測到的數(shù)字信號進行后處理。設(shè)計了基于聲吶信息的避障試驗方案，進行了避障行為動力學(xué)模型的湖上試驗驗證。設(shè)計了AUV縮尺度模擬試驗，應(yīng)用激光測距儀模擬AUV前視聲吶傳感器，完成了不同案例下的水平面行為智能體功能的有效驗證。利用半實物仿真平臺對含行為智能體的AUV自主控制系統(tǒng)進行了仿真試驗。通過反復(fù)試驗，進一步說明了本文所提方法正確、可行?；谧灾骱妥詫W(xué)習(xí)行為智能體的運動規(guī)劃研究對于AUV安全、高效地完成