多機(jī)器人搬運(yùn)系統(tǒng)的作業(yè)分配研究.pdf

1、在某些現(xiàn)代化物流和生產(chǎn)加工等環(huán)境中，存在一種具有多個(gè)智能機(jī)器人(或手臂)協(xié)同工作的搬運(yùn)系統(tǒng)。機(jī)器人連續(xù)和高速的運(yùn)轉(zhuǎn)會(huì)導(dǎo)致其傳動(dòng)裝置過(guò)熱疲勞，發(fā)生故障甚至燒毀。因此，如何對(duì)搬運(yùn)系統(tǒng)中的機(jī)器人進(jìn)行合理的作業(yè)分配，避免單個(gè)機(jī)器人的過(guò)度疲勞，從而提高系統(tǒng)的工作效率、穩(wěn)定性及安全性，是一個(gè)重要研究課題。通常此類作業(yè)分配問(wèn)題可建模為離散事件動(dòng)態(tài)系統(tǒng)(DEDS)領(lǐng)域內(nèi)較為普遍的Markov決策過(guò)程(MDP)來(lái)研究。 論文根據(jù)系統(tǒng)特點(diǎn)，首先建立

2、了兩機(jī)器人搬運(yùn)系統(tǒng)作業(yè)分配的MDP模型。理論上，其優(yōu)化問(wèn)題可通過(guò)數(shù)值迭代或策略迭代等理論計(jì)算方法來(lái)求解。但是，由于系統(tǒng)的狀態(tài)混雜性(hybrid)，且狀態(tài)空間巨大，理論計(jì)算方法需進(jìn)行大量的矩陣運(yùn)算，實(shí)際中往往不可行。因此，論文重點(diǎn)研究運(yùn)用強(qiáng)化學(xué)習(xí)方法來(lái)解決這一困難。 一方面，論文在性能勢(shì)理論框架下，以Q學(xué)習(xí)為基礎(chǔ)，研究了兩機(jī)器人搬運(yùn)系統(tǒng)的作業(yè)分配問(wèn)題。通過(guò)對(duì)搬運(yùn)系統(tǒng)模型特征的分析，提出對(duì)等狀態(tài)一行動(dòng)對(duì)(SAP)的概念。另外，考慮

3、到機(jī)器人發(fā)熱量為一連續(xù)狀態(tài)變量，文中采用小腦模型關(guān)節(jié)控制器(CMAC)神經(jīng)網(wǎng)絡(luò)作為Q值函數(shù)的逼近器，設(shè)計(jì)了一種基于CMAC和對(duì)等SAP的Q學(xué)習(xí)算法。實(shí)驗(yàn)結(jié)果表明，此方法不僅克服了一般Q學(xué)習(xí)算法不能用于具有連續(xù)狀態(tài)變量的系統(tǒng)優(yōu)化問(wèn)題的缺點(diǎn)，而且在一定程度上緩解了“維數(shù)災(zāi)”問(wèn)題，并提高了學(xué)習(xí)系統(tǒng)的優(yōu)化性能。 另一方面，論文根據(jù)機(jī)器人的功能和任務(wù)均相同這一特性，運(yùn)用性能勢(shì)概念，設(shè)計(jì)了一種適于折扣或平均準(zhǔn)則的多Agent Q學(xué)習(xí)算法。討