馬爾可夫決策過程在送餐機(jī)器人路徑規(guī)劃上的研究與應(yīng)用.pdf

1、送餐機(jī)器人代替人工服務(wù)員送餐，給餐館節(jié)省了不少開支。但餐館的環(huán)境過于復(fù)雜，例如椅子被臨時挪動到通道上，顧客在餐館中動態(tài)出現(xiàn)等，送餐機(jī)器人可能會進(jìn)行多次避障，送餐效率不高。如果送餐機(jī)器人能夠預(yù)測一條不出現(xiàn)或者少出現(xiàn)意外椅子或者駐足顧客的路徑，那么送餐機(jī)器人的送餐效率將大大提高。本文應(yīng)用馬爾可夫決策過程(MDP)算法對送餐機(jī)器人的路徑進(jìn)行規(guī)劃，以提高機(jī)器人的送餐效率。
　　本文在研究餐館送餐機(jī)器人路徑規(guī)劃算法的基礎(chǔ)上，以馬爾可夫決策過

2、程為主要算法，通過引入懲罰函數(shù) F、狀態(tài)立即獎勵值更新規(guī)則以及狀態(tài)轉(zhuǎn)移概率更新規(guī)則，進(jìn)行送餐機(jī)器人的路徑規(guī)劃，以提高送餐機(jī)器人的安全性以及全程送餐效率。本文基于MDP構(gòu)建了一個餐館送餐機(jī)器人路徑規(guī)劃系統(tǒng)。該系統(tǒng)有5個組成模塊：地圖模塊，任務(wù)模塊，數(shù)據(jù)采集模塊，路徑規(guī)劃模塊和控制模塊。地圖模塊用來構(gòu)建餐館環(huán)境二維柵格地圖。任務(wù)模塊用來下達(dá)送餐任務(wù)。數(shù)據(jù)采集模塊用來采集MDP初始化信息。路徑規(guī)劃模塊是路徑規(guī)劃系統(tǒng)的核心模塊，它用來為送餐機(jī)器

3、人規(guī)劃高效的送餐路徑。控制模塊用來控制送餐機(jī)器人送餐。具體做法是：首先對餐館環(huán)境進(jìn)行建模即構(gòu)建二維柵格地圖，初始化一個MDP模型。然后應(yīng)用MDP為送餐機(jī)器人規(guī)劃一條全局送餐路徑，控制送餐機(jī)器人沿著此路徑進(jìn)行送餐。當(dāng)送餐機(jī)器人在送餐的過程中對地圖以及MDP模型進(jìn)行實(shí)時更新。對地圖的更新主要是標(biāo)注桌椅以及駐足顧客的位置，對MDP模型的更新主要是更新狀態(tài)立即獎勵值函數(shù)R以及狀態(tài)轉(zhuǎn)移概率P。對P的更新應(yīng)用了如下一個分式：分母是在狀態(tài)s下采取動作

4、a的總次數(shù)，分子是在狀態(tài)s下采取動作a而到達(dá)狀態(tài)s’的次數(shù)。對R的更新具體做法是：當(dāng)傳感器探測到前方狀態(tài)無障礙物時，需要判斷一下是否要更新前方狀態(tài)的立即獎勵值，如果前方狀態(tài)的立即獎勵值等于初始獎勵值，則不更新，否則增大其狀態(tài)立即獎勵值；當(dāng)傳感器探測到前方有障礙物時，以當(dāng)前位置為起始點(diǎn)規(guī)劃出一條能夠避障的全局路徑并判斷其獎勵值是否為最小值，若等于最小值，則不變，否則減小其立即獎勵值。以此進(jìn)行下去，直到到達(dá)目標(biāo)。如果機(jī)器人與障礙物相撞，機(jī)器