2013年--外文翻譯--無人機(jī)路徑規(guī)劃的幾何學(xué)習(xí)與協(xié)作（譯文）

1、<p>　　中文6856字,5300單詞，23000英文字符</p><p>　　出處：Zhang B, Mao Z, Liu W, et al. Cooperative and geometric learning for path planning of UAVs[C]//Unmanned Aircraft Systems (ICUAS), 2013 International Conference

2、 on. IEEE, 2013: 69-78.</p><p>　　無人機(jī)路徑規(guī)劃的幾何學(xué)習(xí)與協(xié)作</p><p>　　摘要：為了解決無人機(jī)路徑規(guī)劃問題的可操作性、避免碰撞和信息共享問題，我們提出了一個(gè)新的學(xué)習(xí)算法，命名為幾何學(xué)習(xí)與協(xié)作（CGL）。CGL有三點(diǎn)好處：1）CGL利用一個(gè)特定的矩陣G，生成一種針對(duì)多無人機(jī)路徑規(guī)劃的簡(jiǎn)單而有效的算法；2）能計(jì)算出從給定點(diǎn)到目標(biāo)點(diǎn)在路徑長(zhǎng)度和風(fēng)險(xiǎn)度

3、量方面的最佳路徑；3）在CGL中，矩陣G是根據(jù)其它無人機(jī)的幾何距離和風(fēng)險(xiǎn)信息實(shí)時(shí)計(jì)算和自適應(yīng)更新的。大量的實(shí)驗(yàn)結(jié)果驗(yàn)證了CGL在無人機(jī)導(dǎo)航方面的有效性和可行性。</p><p><b>　　1 引言</b></p><p>　　在過去的十年中，無人機(jī)在軍事領(lǐng)域的需要已有顯著增長(zhǎng)。不斷增加的需求將與多無人機(jī)操作相關(guān)的一些挑戰(zhàn)納入了重點(diǎn)。減少無人機(jī)依賴的專業(yè)飛行員的有限數(shù)

4、量是一個(gè)主要問題。目前，無人機(jī)（如：Predators）需要兩個(gè)操作者的全部注意力。為了成功的執(zhí)行復(fù)雜的任務(wù)，這些無人機(jī)需要共享信息以及與另一個(gè)協(xié)作來提高團(tuán)隊(duì)整體性能。在戰(zhàn)場(chǎng)上，無人機(jī)飛在一個(gè)高度動(dòng)態(tài)和充滿挑戰(zhàn)的環(huán)境里。面對(duì)地面和空中的突然變化，它們必須要迅速作出反應(yīng)。</p><p>　　無人機(jī)通常在一個(gè)復(fù)雜的環(huán)境中飛行。有許多威脅，如山丘，樹木，敵方無人機(jī)，和敵人的飛機(jī)都是致命的導(dǎo)致無人機(jī)墜毀。這些威脅只能從

5、一個(gè)單一的無人機(jī)的限制范圍內(nèi)檢測(cè)到。然而，通過與其它無人機(jī)共享信息，這些威脅可以在較遠(yuǎn)的距離外被檢測(cè)到。此外，導(dǎo)航的一個(gè)有效路徑應(yīng)當(dāng)平整，并提供一條逃離路線，而且必須是計(jì)算高效的。這些都是熱點(diǎn)問題，并在近年來引起了足夠的重視。</p><p>　　在之前關(guān)于單個(gè)無人機(jī)路徑規(guī)劃的工作中，維諾圖搜索和可視性圖搜索是其中最早的算法，已被證明只在一個(gè)簡(jiǎn)單的環(huán)境中有效。他們不是實(shí)時(shí)的，當(dāng)?shù)貓D信息不能完全獲取，如一些障礙沒有

6、檢測(cè)到時(shí)，也導(dǎo)致致命的失敗。A2D是一個(gè)有效實(shí)時(shí)的算法，它通常能找到無人機(jī)的一個(gè)有效路徑。然而，在局部復(fù)雜區(qū)域中它不能找一個(gè)有效的路徑，并且不得不設(shè)計(jì)一條路徑來逃離危險(xiǎn)區(qū)域，特別是當(dāng)危險(xiǎn)區(qū)域中的轉(zhuǎn)彎角太大時(shí)。進(jìn)化算法被用來作為一個(gè)候選者，以有效地解決路徑規(guī)劃問題，并在短時(shí)間內(nèi)提供可行的解決方案。一個(gè)徑向基人工神經(jīng)網(wǎng)絡(luò)（RBF-ANN）輔助差分進(jìn)化（DE）算法用來設(shè)計(jì)無人機(jī)的一個(gè)離線路徑規(guī)劃協(xié)調(diào)已知靜態(tài)海洋環(huán)境中的導(dǎo)航。行為協(xié)調(diào)和虛擬（B

7、CV）目標(biāo)方法提供一個(gè)基于全局和局部行為協(xié)調(diào)的實(shí)時(shí)路徑規(guī)劃方法。這種方法通過控制局部行為和整體行為的實(shí)現(xiàn)路徑規(guī)劃。用于控制本地行為的模糊邏輯控制器（FLC）旨在實(shí)現(xiàn)威脅回避。</p><p>　　不同于單個(gè)無人機(jī)，多無人機(jī)的路徑規(guī)劃集中在協(xié)作框架、合作戰(zhàn)略和一致性等。維諾圖搜索算法和A*算法（Dijkstra算法）規(guī)劃一個(gè)多無人機(jī)同時(shí)到大目標(biāo)的詳盡過程的全局路徑。研究者們用Dubins路徑規(guī)劃多無人機(jī)的全球協(xié)作路

8、徑來避免碰撞，當(dāng)遭受局部路區(qū)域突然變化時(shí)。在文獻(xiàn)11中，作者提出了一種基于威脅可能性地圖的路徑規(guī)劃算法，它可以從先前的監(jiān)測(cè)數(shù)據(jù)中構(gòu)造。在文獻(xiàn)12和13中，研究人員開發(fā)了一種新的混合模型并對(duì)信息管理設(shè)計(jì)了一致性協(xié)議。他們還通過分布式的、可擴(kuò)展的和不理想的神經(jīng)元?jiǎng)討B(tài)規(guī)劃（算法）合成局部預(yù)測(cè)控制器。一個(gè)明確的反饋機(jī)制，所謂基于顯色指數(shù)的反饋（FBCRI），嵌入進(jìn)最優(yōu)模糊推理方法來解決多無人機(jī)的路徑規(guī)劃。通過嵌入虛擬子目標(biāo)到FBCRI基礎(chǔ)的方法

9、，提出了一種基于虛擬子目標(biāo)（CPVS）的新的協(xié)作路徑規(guī)劃方法來進(jìn)一步解決路徑規(guī)劃問題。然而，據(jù)我們所知，關(guān)于多無人機(jī)的實(shí)時(shí)路徑規(guī)劃和信息共享并不太好研究。</p><p>　　在本文中，我們從強(qiáng)化學(xué)習(xí)的角度來處理多無人機(jī)的路徑規(guī)劃問題。一種經(jīng)典的強(qiáng)化學(xué)習(xí)算法-Q-Learning，是解決路徑規(guī)劃問題的一種傳統(tǒng)方式。Q-Learning的基本思想是根據(jù)學(xué)習(xí)地圖里所觀察的環(huán)境狀態(tài)，從延遲回饋中獲得最優(yōu)控制策略，并提出

10、控制策略來選擇達(dá)到目的的操作。但該方法實(shí)際上是專為已知整個(gè)環(huán)境地圖的計(jì)劃者而設(shè)計(jì)的。當(dāng)只能獲得部分地圖信息時(shí)，Q-Learning使用不了對(duì)路徑規(guī)劃非常有價(jià)值無素的幾何距離信息。此外，對(duì)無人機(jī)而言，Q-Learning中當(dāng)從一個(gè)點(diǎn)傳播到其它點(diǎn)有許多不必要的計(jì)算，從其它無人機(jī)得到的共享信息不能被很好的利用。也有一些特殊的點(diǎn)，如起點(diǎn)和目標(biāo)點(diǎn)都沒有得到很好的考慮。為了利用幾何距離和從檢測(cè)傳感器和其它無人機(jī)來的風(fēng)險(xiǎn)信息并且建產(chǎn)一個(gè)通用路徑規(guī)劃模

11、型，我們提出了一種新的算法：幾何學(xué)習(xí)與協(xié)作（CGL）。通過將圖分成一系列格子，多無人機(jī)的路徑規(guī)劃被配制為最優(yōu)路徑規(guī)劃問題。本文中的連續(xù)威脅函數(shù)被用來模仿無人機(jī)飛行的真實(shí)情況。為了減少計(jì)算的復(fù)雜性，我們?cè)敿?xì)的調(diào)節(jié)參數(shù)來控制地圖的大小。我們通過使用來自其它無人機(jī)的共享信息歸納出針對(duì)多無人機(jī)的算法，它提供了針對(duì)路徑規(guī)劃和避免</p><p>　　本文的其余部分安排如下：第二部分介紹了無人機(jī)的威脅環(huán)境建模。第三部分和第四

12、部分給出了GCL算法的主要組成部分。第五部分列出了大量的實(shí)驗(yàn)結(jié)果，第六部分對(duì)全文進(jìn)行總結(jié)。</p><p>　　2 障礙物風(fēng)險(xiǎn)概率建模</p><p>　　無人機(jī)通常在城鎮(zhèn)低空和山地環(huán)境中飛行，需要模擬這些環(huán)境來評(píng)估不同路徑規(guī)劃方法的性能。無人機(jī)很容易與地面上的物體或其它無人機(jī)碰撞。為確保安全飛行，無人機(jī)與高風(fēng)險(xiǎn)區(qū)域保持一定的距離是非常有必要的。</p><p>　

13、　對(duì)障礙物的網(wǎng)險(xiǎn)概率測(cè)量被看作是一個(gè)連續(xù)的分布函數(shù)，如圖1和圖2所示。例如：一個(gè)障礙物的位置是（Xi,Yi），風(fēng)險(xiǎn)測(cè)量用fd表示，該參數(shù)與規(guī)劃空間的維度相關(guān)。在二維空間中，fd用fi(x,y)表示。本文中我們把它看作一個(gè)正態(tài)分布：</p><p>　　地圖上障礙物風(fēng)險(xiǎn)概率的分布是一個(gè)特征值集。例如：無人機(jī)無法飛越的地區(qū)的風(fēng)險(xiǎn)概率表示為一個(gè)非常大的值。此外，當(dāng)?shù)貓D上多于一個(gè)障礙物存在時(shí)，位置（Xi,Yi）的風(fēng)險(xiǎn)概率

14、通過下式進(jìn)行計(jì)算：</p><p>　　3 基于幾何距離和積分風(fēng)險(xiǎn)度量的權(quán)重矩陣</p><p>　　權(quán)重矩陣對(duì)路徑規(guī)劃問題非常重要。首先，為了在給定的路徑中找到當(dāng)前點(diǎn)的下一個(gè)點(diǎn)，我們需要任何兩個(gè)點(diǎn)之間的關(guān)系或權(quán)重。其次，針對(duì)路徑規(guī)劃的權(quán)重矩陣中的無素需要包含任何兩個(gè)點(diǎn)之間的距離和風(fēng)險(xiǎn)信息。在下文中，我們首先討論在傳統(tǒng)的Q-Learning學(xué)習(xí)方法中的狀態(tài)更新方法。</p>

15、<p>　　3.1 Q-Learning方法的缺點(diǎn)</p><p>　　在我們的研究中，在無人機(jī)的路徑規(guī)劃里也試驗(yàn)了Q-Learning方法。Q-Learning的決定取決于當(dāng)前的狀態(tài)和下個(gè)狀態(tài)的權(quán)重。在我們的仿真結(jié)果中，我們發(fā)現(xiàn)無人機(jī)的飛行方向限定在圖3a中顯示的8個(gè)方向里，作為下一個(gè)狀態(tài)被限定在附近的8個(gè)狀態(tài)里。因此，它會(huì)影響無人機(jī)飛行路徑的可行性和無人機(jī)軌跡的復(fù)雜性。如圖3b所示，從a到b幾何距離

16、會(huì)導(dǎo)致一個(gè)更高效的路徑，而相應(yīng)的Q-Learning方法不得不通過c、d、e、f點(diǎn)。</p><p>　　此外，為得到狀態(tài)轉(zhuǎn)換，回饋矩陣應(yīng)當(dāng)包含幾何距離和威脅狀信息是合理的。在Q-Learning中，在目標(biāo)點(diǎn)上回饋的權(quán)重必須是非常大的，因此最終的路徑可能是不合理的。在本文中，我們計(jì)算了地圖上每?jī)牲c(diǎn)之間的整體距離，并進(jìn)一步提高了回饋矩陣的更新機(jī)制。</p><p>　　3.2 基于幾何距離和

17、積分風(fēng)險(xiǎn)度量的權(quán)重矩陣更新方案</p><p>　　在本文中，離散映射被用于驗(yàn)證我們的方法。這是眾所周知的，離散映射是降低計(jì)算復(fù)雜度的一種有效方法。我們創(chuàng)建了一個(gè)完全圖或權(quán)重矩陣，其中權(quán)重設(shè)定為圖中的兩個(gè)點(diǎn)。在Q-Learning中，每一步的操作被限定在由狀態(tài)矩陣決定的操作集里。通常狀態(tài)矩陣不能是復(fù)雜的，每個(gè)步驟中的進(jìn)一步操作是在[19]所示的8個(gè)方向里。</p><p>　　在本文中，地

18、圖被劃分為N * N（N=20）的格子，地圖上任意兩點(diǎn)之間路徑的權(quán)重是通過幾何距離和積分風(fēng)險(xiǎn)度量進(jìn)行計(jì)算的。</p><p>　　其中C是P1到P2路徑上點(diǎn)的集合，是P1和P2之間的距離，K是威脅度相關(guān)的參數(shù)，它影響兩點(diǎn)之間的權(quán)重?？紤]像圖1中的單一威脅，我們能在給定地圖中看到點(diǎn)（0.5，0.5）的威脅例子。如圖4所示，我們可以解釋當(dāng)K為5和100里從（0，0）到其它點(diǎn)根據(jù)公式（3）計(jì)算出的權(quán)重值。</p&

19、gt;<p>　　提供的回饋矩陣更新方案的優(yōu)勢(shì)如下：</p><p>　　不同于Q-Learning，我們的方法不限于8個(gè)方向。CGL上任意兩點(diǎn)之間的距離是基于幾何距離計(jì)算出來的，當(dāng)只能獲得部分信息時(shí)對(duì)路徑規(guī)劃是非常有用的。</p><p>　　積分風(fēng)險(xiǎn)度量被嵌入到特定的回饋矩陣中，這有助于建立一個(gè)更合理的無人機(jī)路徑。</p><p>　　單回饋矩陣能

20、導(dǎo)致一個(gè)有效的實(shí)時(shí)路徑規(guī)劃算法，這是適用于無人機(jī)的導(dǎo)航任務(wù)。</p><p><b>　　4 幾何學(xué)習(xí)與協(xié)作</b></p><p>　　CGL是單無人機(jī)與多無人機(jī)路徑規(guī)劃設(shè)計(jì)的一個(gè)通用方法。對(duì)單無人機(jī)，當(dāng)檢測(cè)到一個(gè)新的威脅對(duì)象時(shí)，一旦矩陣A被更新那么CGL就執(zhí)行。但對(duì)于多無人機(jī)，當(dāng)A變化時(shí)，CGL通過檢測(cè)到危險(xiǎn)信息和從其它無人機(jī)的動(dòng)態(tài)信息被執(zhí)行。</p>

21、<p>　　4.1 算法的基本思想</p><p>　　在本文中，我們的目標(biāo)是使整體風(fēng)險(xiǎn)和路徑長(zhǎng)度最小。路徑風(fēng)險(xiǎn)通過下式進(jìn)行計(jì)算：</p><p>　　其中C是路徑，長(zhǎng)度或時(shí)間通過下式表示：</p><p>　　其中v是無人機(jī)的速度。假設(shè)速度是恒定的，那么飛行時(shí)間與路徑長(zhǎng)度成正比。</p><p>　　在本文中，我們研究路徑評(píng)估

22、中風(fēng)險(xiǎn)檢測(cè)和路徑長(zhǎng)度的組合，在公式（4）和公式（5）方面定義最優(yōu)路徑。</p><p>　　在本方中，其優(yōu)化目標(biāo)是：</p><p>　　其中，C是地圖上從起始處到目標(biāo)點(diǎn)包含的點(diǎn)對(duì)列的點(diǎn)集合。如果C*是積分風(fēng)險(xiǎn)度量和路徑長(zhǎng)度方面的最小值，那么它就被認(rèn)為是一個(gè)最優(yōu)解。K是公式（3）中提到的參數(shù)，K越大，算法找到的路徑的風(fēng)險(xiǎn)就越低。為了從上述權(quán)重矩陣中找到最優(yōu)路徑，動(dòng)態(tài)規(guī)劃方法通常被用來窮舉搜

23、索最優(yōu)路徑。但是當(dāng)獲得部分地圖信息和權(quán)重矩陣時(shí)，無人機(jī)實(shí)時(shí)路徑規(guī)劃不是有效的。因此，出于這樣一個(gè)目的，本文提出了一種回饋矩陣。</p><p>　　無人機(jī)只有一個(gè)有限的視圖范圍，因此它們只能知道這個(gè)領(lǐng)域范圍內(nèi)的威脅對(duì)象的信息，如圖5b所示。然而無人機(jī)可以彼此共享信息，因此無人機(jī)的視圖范圍可以大大擴(kuò)展。</p><p>　　為了避免無人機(jī)之間的碰撞，我們需要處理其附近的無人機(jī)。無人機(jī)成為一種

24、威脅對(duì)象，當(dāng)它飛入其他無人機(jī)的半徑。把這個(gè)視圖半徑記為OR，考慮到無人機(jī)的運(yùn)動(dòng)，我們?cè)谒娘w行方向上設(shè)置每個(gè)無人機(jī)的前方為威脅區(qū)域。兩個(gè)無人機(jī)之間的安全距離記為SD，無人機(jī)必須保持這個(gè)最小距離。OR與SD之比γ根據(jù)經(jīng)驗(yàn)設(shè)定為0.1，它能生成一個(gè)良好的路徑規(guī)劃計(jì)果。在實(shí)際應(yīng)用中，我們能根據(jù)OR為SD設(shè)定一個(gè)合理的值。</p><p>　　當(dāng)多個(gè)無人機(jī)相互協(xié)作完成一項(xiàng)任務(wù)時(shí)，該視圖的范圍可以擴(kuò)大。當(dāng)新威脅對(duì)象對(duì)任意一

25、個(gè)無人機(jī)都是可視的時(shí)候，地圖上的危險(xiǎn)信息和權(quán)重矩陣也會(huì)相應(yīng)的更新。此外，如果兩個(gè)無人機(jī)之間的距離小于安全距離，每個(gè)無人機(jī)就必須被設(shè)定為其它無人機(jī)的虛擬危險(xiǎn)對(duì)象，然后權(quán)重矩陣將會(huì)被動(dòng)態(tài)更新。</p><p>　　4.2 CGL的描述</p><p>　　CGL的主要思想是如何計(jì)算回饋矩陣G，它可以被用來找到給定點(diǎn)到目標(biāo)點(diǎn)具有最佳距離和積分風(fēng)險(xiǎn)的最優(yōu)路徑。</p><p&g

26、t;　　4.2.1 威脅對(duì)象檢測(cè)</p><p>　　我們首先檢查是否有威脅對(duì)象進(jìn)入到探測(cè)半徑的圓里。如果有，威脅信息將根據(jù)公式（3）被更新。我們進(jìn)一步檢查是否有無人機(jī)進(jìn)入到高危險(xiǎn)的圓形區(qū)域內(nèi)。如果有，地圖上的威脅信息將根據(jù)威脅的無人機(jī)的位置被更新。</p><p>　　4.2.2 每個(gè)無人機(jī)的矩陣G的計(jì)算</p><p>　　1）把端點(diǎn)Pt上的矩陣G記為0，其它點(diǎn)

27、記為正無窮大。使用一樣的步驟更新每個(gè)無人機(jī)的矩陣G：在地圖上隨機(jī)選擇一點(diǎn)，并把其它點(diǎn)的矩陣G更新為：</p><p>　　這個(gè)步驟能找到從起始處到終點(diǎn)的最優(yōu)路徑。</p><p>　　2）重復(fù)步驟2直到每個(gè)無人機(jī)的矩陣G穩(wěn)定。從公式（8）中我們很容易知道，如果t足夠大，那么將收斂于一個(gè)穩(wěn)定的點(diǎn)上。</p><p>　　G不能影響權(quán)重矩陣的計(jì)算，因此整個(gè)算法的收斂取決

28、于G的計(jì)算。</p><p>　　4.2.3 路徑規(guī)劃</p><p>　　讓一個(gè)無人機(jī)在Ps處開始，Pt處結(jié)束，路徑上的所有點(diǎn)能通過下式被找到：</p><p>　　上述程序是基于貪婪算法來找出每條路徑上的每個(gè)點(diǎn)。當(dāng)權(quán)重矩陣被更新或無人機(jī)飛行的路徑方案不夠足夠安全時(shí)，它將被重新執(zhí)行。</p><p><b>　　5 實(shí)驗(yàn)</

29、b></p><p>　　這些實(shí)驗(yàn)是針對(duì)單無人機(jī)和多無人機(jī)進(jìn)行的。比較的方法包括BCV，CPVS和FBCRI（用于多無人機(jī)的信息共享）。為了檢測(cè)性能，我們?yōu)樗械姆椒ㄟx擇了一樣的地圖。路徑長(zhǎng)度和積分風(fēng)險(xiǎn)被用于質(zhì)量評(píng)估。傳統(tǒng)的方法只考慮路徑長(zhǎng)度，而我們?yōu)榱烁玫臏y(cè)量路徑規(guī)劃建議包括整體風(fēng)險(xiǎn)。</p><p>　　5.1 單無人機(jī)的路徑規(guī)劃對(duì)比實(shí)驗(yàn)</p><p>

30、;　　在本節(jié)中，我們進(jìn)行了實(shí)驗(yàn)，以驗(yàn)證所提出方法的可行性和適應(yīng)性。如圖3所示，無人機(jī)的危險(xiǎn)區(qū)域作為暴露的風(fēng)險(xiǎn)功能被建模。當(dāng)無人機(jī)和危脅對(duì)象之間的距離小于檢測(cè)半徑時(shí)，威脅區(qū)域被逐漸檢測(cè)出來。圖6a中顯示了參數(shù)K取不同值時(shí)，CGL用于單無人機(jī)路徑規(guī)劃的結(jié)果。路徑從起始點(diǎn)（0.1，0.1）開始到終點(diǎn)（0.9，0.9）結(jié)束。如圖5所示，當(dāng)K值較小時(shí)，無人機(jī)可能會(huì)選擇一個(gè)短期高風(fēng)險(xiǎn)路徑。如圖6a所示，當(dāng)選擇一個(gè)小K值時(shí)，無人機(jī)通過區(qū)域A和B到達(dá)目

31、標(biāo)點(diǎn)。這種特性對(duì)像與其它無人機(jī)之間共享信息的任務(wù)是比較好。當(dāng)K設(shè)定為一個(gè)較大值時(shí)，無人機(jī)將遠(yuǎn)離威脅障礙以降低可能出現(xiàn)的風(fēng)險(xiǎn)。</p><p>　　圖6d中顯示了用BCV的比較結(jié)果。不同于CGL，BCV方法存在局部最小值，并且路徑長(zhǎng)度和風(fēng)險(xiǎn)度量不能靈活的調(diào)整。這可以在圖6和表1中得到進(jìn)一步確認(rèn)。此外，由于在BCV算法中，只有簡(jiǎn)單的地圖量化被利用，在飛行過程中的無人機(jī)威脅不能進(jìn)行 充分調(diào)查。例如：如果威脅的對(duì)象擁有對(duì)

32、周圍的威脅區(qū)域很長(zhǎng)的時(shí)間，時(shí)間成本應(yīng)該比的對(duì)象快速穿過高威脅區(qū)域到目標(biāo)點(diǎn)的要高得多。CGL學(xué)習(xí)在風(fēng)險(xiǎn)度量和路徑長(zhǎng)度方面比其他方法更好，因?yàn)樗业降穆窂街型瑫r(shí)一起在考慮風(fēng)險(xiǎn)度量和路徑長(zhǎng)度。也做了不同K值下的BCV和CGL的路徑規(guī)劃對(duì)比評(píng)測(cè)。從表1中可以看出，在K=10的情況下，CGL在風(fēng)險(xiǎn)度量和路徑長(zhǎng)度方面比較優(yōu)越。當(dāng)路徑長(zhǎng)度與BCV的相似時(shí)，風(fēng)險(xiǎn)只是其1/4。此外，手動(dòng)設(shè)置使用BCV規(guī)則需要進(jìn)行精心設(shè)計(jì)。但是它飛在大風(fēng)險(xiǎn)區(qū)域很長(zhǎng)一段時(shí)間

33、。與A2D和Q-Learning相比，CGL具有更好的性能。具體來說，Q-Learning方法比其它方法更差，因?yàn)樗倪M(jìn)一步操作受限于8個(gè)方向。</p><p>　　綜上所述，本文從風(fēng)險(xiǎn)度量和路徑長(zhǎng)度兩方面比較性能。圖6和表1顯示出其結(jié)果，注意：這些對(duì)比方法的路徑長(zhǎng)度被重新縮放到相同的單元中顯示出，而風(fēng)險(xiǎn)度量的值保持來原值。我們第一次引進(jìn)的風(fēng)險(xiǎn)度量被證明是一個(gè)很好的路徑評(píng)價(jià)標(biāo)準(zhǔn)。</p><p

34、>　　無人機(jī)應(yīng)當(dāng)對(duì)路徑規(guī)劃中的突然變化快速作出反應(yīng)，并應(yīng)當(dāng)實(shí)時(shí)避免路徑中的威脅到達(dá)目的地。與其它方法對(duì)比，CGL對(duì)突發(fā)威脅是簡(jiǎn)單可靠強(qiáng)大的。圖7ab中顯示出不同K值下的仿真結(jié)果。從表2中我們可以看到，K值越大，無人機(jī)逃離危脅區(qū)域就越容易，因?yàn)橐粋€(gè)較大的K值會(huì)導(dǎo)致更小的風(fēng)險(xiǎn)和較長(zhǎng)的距離。</p><p>　　5.2 多無人機(jī)的路徑規(guī)劃仿真</p><p>　　5.2.1 多無人機(jī)路徑規(guī)

35、劃</p><p>　　多無人機(jī)的路徑規(guī)劃需要考慮無人機(jī)之間的碰撞問題。無人機(jī)在飛行過程中相互影響，也可能相互碰撞。因此，很顯然無人機(jī)之間必須保持一個(gè)安全距離。我們?yōu)槊總€(gè)無人機(jī)引進(jìn)一個(gè)虛擬障礙。我們想法是，當(dāng)兩個(gè)無人機(jī)之間的距離太近時(shí)，一個(gè)無人機(jī)被視為其它無人機(jī)的威脅對(duì)象或障礙物。</p><p>　　圖8a中，無人機(jī)A（紅色）從（0.1，0。1）開始，無人機(jī)B（藍(lán)色）從（0.1，0.25

36、）開始，他們的目標(biāo)都是終點(diǎn)（0.9，0.9）。如圖8b所示，無人機(jī)以相同的速度飛行，在位置（0.5，0.7）附近會(huì)引起碰撞。在同一仿真下，如果每個(gè)無人機(jī)的虛擬障礙物被設(shè)置，那么無人機(jī)會(huì)自動(dòng)改變路徑以避免碰撞，如圖8c所示。在下面小節(jié)中，我們將討論如何設(shè)置每個(gè)無人機(jī)的虛擬障礙物。</p><p>　　5.2.2 虛擬障礙物設(shè)置</p><p>　　當(dāng)無人機(jī)被任意其它無人機(jī)影響時(shí)，它可以被看作

37、是路徑規(guī)劃過程中的威脅對(duì)象。不同于公式（1）中的真實(shí)風(fēng)險(xiǎn)，威脅的無人機(jī)是個(gè)虛擬的，并且通常設(shè)定在其他無人機(jī)的正前方。我們從大量和定量的實(shí)驗(yàn)中獲取一個(gè)經(jīng)驗(yàn)值，最小的一步是圖中單元的40%。前面的頻數(shù)由stepnum表示，它代表了任何無人機(jī)和虛擬障礙物之間的距離。</p><p>　　圖9顯示stepnum對(duì)危脅區(qū)域的效果。當(dāng)stepnum為3時(shí)，無人機(jī)能很好的完成任務(wù)到達(dá)目標(biāo)點(diǎn)避免碰撞，如圖9d所示。我們也可以看到

38、，當(dāng)stepnum被設(shè)置為0或5時(shí)，無人機(jī)會(huì)互相碰撞。</p><p><b>　　、</b></p><p>　　5.2.3 避免局部最優(yōu)</p><p>　　我們共享協(xié)作路徑規(guī)劃無人機(jī)的風(fēng)險(xiǎn)信息。在此之后，無人機(jī)有一個(gè)更廣闊的視角范圍，并能有效避免局部最小。兩個(gè)無人機(jī)的仿真結(jié)果在圖10、11和12中顯示。沒有信息共享時(shí)，一個(gè)無人機(jī)檢測(cè)到的位

39、于（0.6，0.7）和（0.7，0.8）的兩個(gè)威脅不能被用于其它無人機(jī)。兩架無人機(jī)仍然向著高風(fēng)險(xiǎn)的區(qū)域飛，并造成局部最小。很顯然，寶貴的操作時(shí)間和能量的浪費(fèi)也大大地增加了旅途的風(fēng)險(xiǎn)。</p><p>　　圖10和圖11顯示了在路徑長(zhǎng)度和風(fēng)險(xiǎn)度量方面是否有信息共享的性能調(diào)查。表3中顯示出多無人機(jī)路徑規(guī)劃信息共享效果的定量比較。通過使用來自其他無人機(jī)的信息，CGL在風(fēng)險(xiǎn)度量和路徑長(zhǎng)度方面有一個(gè)更好的性能，因?yàn)橐暯欠秶?/p>

40、大大擴(kuò)展和產(chǎn)生更好的路徑規(guī)劃。</p><p>　　當(dāng)兩個(gè)無人機(jī)從（0.1，0.1）和（0.1，0.2）開始，圖12和表4顯示了其結(jié)果。用信息共享的路徑規(guī)劃交效果比顯好于沒有應(yīng)用信息共享的。我們也可以看出Q-Learning的效果不是很有效，它比其它的CGL有更多危險(xiǎn)。</p><p><b>　　6 結(jié)論</b></p><p>　　本文提出

41、了一種新的幾可學(xué)習(xí)與協(xié)作的方法來解決無人機(jī)路徑規(guī)劃問題。與其他的方法相比，CGL導(dǎo)致了一個(gè)非常簡(jiǎn)單的路徑規(guī)劃算法。CGL中的參數(shù)K能使路徑的安全性與經(jīng)濟(jì)性之間得到平衡。調(diào)節(jié)參數(shù)K以適合不同類型的無人機(jī)飛行任務(wù)，這樣設(shè)計(jì)是為了找到更靈活的路徑。CGL也被用于設(shè)計(jì)多無人機(jī)的路徑協(xié)同規(guī)劃。通過特定的預(yù)定義參數(shù)（stepnum）和虛擬障礙物，能避免無人機(jī)之間的碰撞。與此同時(shí)，我們也驗(yàn)證了無人機(jī)之間的信息共享對(duì)導(dǎo)航是非常有效的。通過信息共享的方式