基于增強(qiáng)學(xué)習(xí)的靈巧手控制算法及其應(yīng)用.pdf

1、靈巧手操作是極具挑戰(zhàn)的機(jī)器人控制任務(wù)之一，并且至今仍存在大量問(wèn)題尚未解決。本文針對(duì)機(jī)器人靈巧手操作中抓取任務(wù)，以實(shí)際 Baxter機(jī)器人為平臺(tái)，實(shí)現(xiàn)了一套完整的抓取控制系統(tǒng)，能夠高效、自適應(yīng)的控制機(jī)械臂到達(dá)指定目標(biāo)位置和跟隨指定關(guān)節(jié)位置軌跡兩個(gè)目標(biāo)，并進(jìn)行實(shí)驗(yàn)驗(yàn)證。本文主要的工作有如下幾個(gè)方面。
　　針對(duì)抓取場(chǎng)景下目標(biāo)跟蹤問(wèn)題，完成引入結(jié)構(gòu)化約束的跟蹤算法設(shè)計(jì)。跟蹤算法作為控制系統(tǒng)在運(yùn)行時(shí)的輔助模塊，為控制系統(tǒng)提供的目標(biāo)定位以及目

2、標(biāo)形態(tài)信息。改進(jìn)后視覺跟蹤算法，提升了機(jī)器人操作場(chǎng)景中，快速移動(dòng)、光照變化、形變等問(wèn)題的跟蹤效果。算法結(jié)合TLD算法框架，利用提出的交叉骨架模型和軟分割模型，開拓被跟蹤目標(biāo)的結(jié)構(gòu)信息和外貌信息。跟蹤算法測(cè)試于權(quán)威數(shù)據(jù)視覺跟蹤數(shù)據(jù)庫(kù)，對(duì)比近年優(yōu)秀的跟蹤器，并獲得了不錯(cuò)的成績(jī)。
　　針對(duì)直接訓(xùn)練神經(jīng)網(wǎng)絡(luò)策略樣本需求量大的問(wèn)題，利用構(gòu)建局部控制器結(jié)合監(jiān)督學(xué)習(xí)技術(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)策略。本文將操作任務(wù)劃分為數(shù)個(gè)簡(jiǎn)單狀態(tài)，在簡(jiǎn)單狀態(tài)下，利用基于模

3、型的傳統(tǒng)控制算法或高效的增強(qiáng)學(xué)習(xí)算法，完成局部控制器的訓(xùn)練。在得到能夠在各自獨(dú)立的簡(jiǎn)單狀態(tài)下完成任務(wù)的局部控制器后，利用成熟的監(jiān)督學(xué)習(xí)技術(shù)，將多個(gè)局部控制器整合訓(xùn)練為一個(gè)全局策略。全局策略保證機(jī)器人能夠以統(tǒng)一的控制器完成整個(gè)操作任務(wù)，而非機(jī)器人在每個(gè)狀態(tài)下使用不同的控制器完成任務(wù)。
　　本文第三個(gè)重要工作就是以實(shí)際 Baxter機(jī)器人為平臺(tái)，實(shí)現(xiàn)實(shí)際的抓取控制系統(tǒng)?？刂扑惴ǖ姆抡鎸?shí)現(xiàn)往往較為容易，而從仿真到現(xiàn)實(shí)世界則存在一條巨大的

4、鴻溝。因?yàn)樵诜抡姝h(huán)境中，可以忽略現(xiàn)實(shí)世界中各種干擾因素，例如數(shù)據(jù)采集時(shí)的測(cè)量誤差、系統(tǒng)誤差、執(zhí)行器執(zhí)行精度、控制系統(tǒng)的模型差異、采樣的成本等。此外，真實(shí)系統(tǒng)上需要一套完整的系統(tǒng)提供算法運(yùn)行的基礎(chǔ)。上述任一問(wèn)題未能處理得當(dāng)，都足以使得整個(gè)算法在實(shí)際系統(tǒng)中失敗。
　　本文最后，在實(shí)際抓取控制系統(tǒng)中完成兩組控制任務(wù)實(shí)驗(yàn)驗(yàn)證。分別對(duì)局部控制器和全局策略進(jìn)行測(cè)試，不同次數(shù)迭代的執(zhí)行誤差，以實(shí)驗(yàn)結(jié)果來(lái)證實(shí)整個(gè)系統(tǒng)的可用性。實(shí)驗(yàn)數(shù)據(jù)也充分展示了