多站點CSPS系統(tǒng)基于學(xué)習(xí)技術(shù)的look-ahead控制研究.pdf

1、在現(xiàn)實世界的一些生產(chǎn)加工企業(yè)中，存在一類由生產(chǎn)加工站作為加工主體的生產(chǎn)線，其中，加工站由傳送帶輸送工件進行加工，這樣的一類系統(tǒng)稱為傳送帶給料生產(chǎn)加工站(Conveyor-serviced production station，CSPS)。由于專業(yè)化、規(guī)?；图s化生產(chǎn)的需要，這些生產(chǎn)線往往配有多個CSPS，稱為多站點CSPS系統(tǒng)。若將這些站點視為可以學(xué)習(xí)的Agent，則構(gòu)成一個多Agent系統(tǒng)，其優(yōu)化目標(biāo)是通過合理選擇每個站點的look

2、-ahead控制策略，實現(xiàn)整個系統(tǒng)的工件處理率最大。 在站點串行分布的CSPS系統(tǒng)中，上游站點的決策對下游所有站點的運行都將產(chǎn)生影響，但在沒有信息交互的情況下，下游站點的決策對上游站點卻不產(chǎn)生影響，因而不利于站點間的協(xié)作和負載平衡。因此，文章通過引入反應(yīng)擴散思想，將站點與其后緊鄰的站點進行信息交互，即將后者的狀態(tài)信息通過代價函數(shù)反饋到前者。另外，由于各站點的決策時刻不同步，為異步?jīng)Q策模式，而常用的多Agent算法，如Nash-Q

3、等，一般基于同步?jīng)Q策框架，故難以應(yīng)用到本系統(tǒng)。由于Wolf-PHC算法的Q值學(xué)習(xí)不需要求解均衡解，因此論文結(jié)合性能勢理論，給出了一種適用于平均和折扣兩種性能準(zhǔn)則的Wolf-PHC多Agent學(xué)習(xí)算法。該算法既可有效解決多站點CSPS系統(tǒng)的異步?jīng)Q策問題，又可通過站點間的逐級信息反饋，來提高系統(tǒng)的協(xié)作能力，改善學(xué)習(xí)優(yōu)化性能。 其次，由于多站點CSPS系統(tǒng)本質(zhì)上是一個離散事件動態(tài)系統(tǒng)，其特點是系統(tǒng)的運行由一系列離散的事件驅(qū)動。因此，論