多機器人搬運系統(tǒng)的作業(yè)分配研究.pdf

1、在某些現(xiàn)代化物流和生產(chǎn)加工等環(huán)境中，存在一種具有多個智能機器人(或手臂)協(xié)同工作的搬運系統(tǒng)。機器人連續(xù)和高速的運轉(zhuǎn)會導(dǎo)致其傳動裝置過熱疲勞，發(fā)生故障甚至燒毀。因此，如何對搬運系統(tǒng)中的機器人進行合理的作業(yè)分配，避免單個機器人的過度疲勞，從而提高系統(tǒng)的工作效率、穩(wěn)定性及安全性，是一個重要研究課題。通常此類作業(yè)分配問題可建模為離散事件動態(tài)系統(tǒng)(DEDS)領(lǐng)域內(nèi)較為普遍的Markov決策過程(MDP)來研究。 論文根據(jù)系統(tǒng)特點，首先建立

2、了兩機器人搬運系統(tǒng)作業(yè)分配的MDP模型。理論上，其優(yōu)化問題可通過數(shù)值迭代或策略迭代等理論計算方法來求解。但是，由于系統(tǒng)的狀態(tài)混雜性(hybrid)，且狀態(tài)空間巨大，理論計算方法需進行大量的矩陣運算，實際中往往不可行。因此，論文重點研究運用強化學習方法來解決這一困難。 一方面，論文在性能勢理論框架下，以Q學習為基礎(chǔ)，研究了兩機器人搬運系統(tǒng)的作業(yè)分配問題。通過對搬運系統(tǒng)模型特征的分析，提出對等狀態(tài)一行動對(SAP)的概念。另外，考慮

3、到機器人發(fā)熱量為一連續(xù)狀態(tài)變量，文中采用小腦模型關(guān)節(jié)控制器(CMAC)神經(jīng)網(wǎng)絡(luò)作為Q值函數(shù)的逼近器，設(shè)計了一種基于CMAC和對等SAP的Q學習算法。實驗結(jié)果表明，此方法不僅克服了一般Q學習算法不能用于具有連續(xù)狀態(tài)變量的系統(tǒng)優(yōu)化問題的缺點，而且在一定程度上緩解了“維數(shù)災(zāi)”問題，并提高了學習系統(tǒng)的優(yōu)化性能。 另一方面，論文根據(jù)機器人的功能和任務(wù)均相同這一特性，運用性能勢概念，設(shè)計了一種適于折扣或平均準則的多Agent Q學習算法。討