多站點(diǎn)CSPS系統(tǒng)基于學(xué)習(xí)技術(shù)的look-ahead控制研究.pdf

1、在現(xiàn)實(shí)世界的一些生產(chǎn)加工企業(yè)中，存在一類由生產(chǎn)加工站作為加工主體的生產(chǎn)線，其中，加工站由傳送帶輸送工件進(jìn)行加工，這樣的一類系統(tǒng)稱為傳送帶給料生產(chǎn)加工站(Conveyor-serviced production station，CSPS)。由于專業(yè)化、規(guī)?；图s化生產(chǎn)的需要，這些生產(chǎn)線往往配有多個(gè)CSPS，稱為多站點(diǎn)CSPS系統(tǒng)。若將這些站點(diǎn)視為可以學(xué)習(xí)的Agent，則構(gòu)成一個(gè)多Agent系統(tǒng)，其優(yōu)化目標(biāo)是通過(guò)合理選擇每個(gè)站點(diǎn)的look

2、-ahead控制策略，實(shí)現(xiàn)整個(gè)系統(tǒng)的工件處理率最大。 在站點(diǎn)串行分布的CSPS系統(tǒng)中，上游站點(diǎn)的決策對(duì)下游所有站點(diǎn)的運(yùn)行都將產(chǎn)生影響，但在沒(méi)有信息交互的情況下，下游站點(diǎn)的決策對(duì)上游站點(diǎn)卻不產(chǎn)生影響，因而不利于站點(diǎn)間的協(xié)作和負(fù)載平衡。因此，文章通過(guò)引入反應(yīng)擴(kuò)散思想，將站點(diǎn)與其后緊鄰的站點(diǎn)進(jìn)行信息交互，即將后者的狀態(tài)信息通過(guò)代價(jià)函數(shù)反饋到前者。另外，由于各站點(diǎn)的決策時(shí)刻不同步，為異步?jīng)Q策模式，而常用的多Agent算法，如Nash-Q

3、等，一般基于同步?jīng)Q策框架，故難以應(yīng)用到本系統(tǒng)。由于Wolf-PHC算法的Q值學(xué)習(xí)不需要求解均衡解，因此論文結(jié)合性能勢(shì)理論，給出了一種適用于平均和折扣兩種性能準(zhǔn)則的Wolf-PHC多Agent學(xué)習(xí)算法。該算法既可有效解決多站點(diǎn)CSPS系統(tǒng)的異步?jīng)Q策問(wèn)題，又可通過(guò)站點(diǎn)間的逐級(jí)信息反饋，來(lái)提高系統(tǒng)的協(xié)作能力，改善學(xué)習(xí)優(yōu)化性能。 其次，由于多站點(diǎn)CSPS系統(tǒng)本質(zhì)上是一個(gè)離散事件動(dòng)態(tài)系統(tǒng)，其特點(diǎn)是系統(tǒng)的運(yùn)行由一系列離散的事件驅(qū)動(dòng)。因此，論