服務(wù)率可變的系統(tǒng)環(huán)境變化的單站點(diǎn)CSPS系統(tǒng)的優(yōu)化控制.pdf

1、傳送帶給料生產(chǎn)加工站(Conveyor-Serviced Production Station,簡稱為CSPS)是一種將工件通過傳送帶送至含有有限容量緩沖庫的生產(chǎn)加工站進(jìn)行服務(wù)的自動(dòng)化制造系統(tǒng),是一種在工業(yè)生產(chǎn)自動(dòng)化基礎(chǔ)上產(chǎn)生的實(shí)際生產(chǎn)系統(tǒng)的抽象模型。研究CSPS系統(tǒng)的最優(yōu)控制問題,通過合理選擇站點(diǎn)的控制策略,實(shí)現(xiàn)系統(tǒng)的長遠(yuǎn)期望代價(jià)最優(yōu),工件流失率最小,對提高產(chǎn)品的產(chǎn)量具有重要的現(xiàn)實(shí)意義。
　　在CSPS系統(tǒng)中,生產(chǎn)加工站作為CS

2、PS問題的決策主體Agent通過前視控制對工件的到達(dá)過程和服務(wù)過程進(jìn)行協(xié)調(diào)。CSPS的前視控制是指Agent根據(jù)當(dāng)前系統(tǒng)狀態(tài)的前視距離,判斷這段距離內(nèi)是否有工件,如有則 Agent將等待工件到達(dá)并放入緩沖庫即工件的到達(dá)過程;否則,Agent從緩沖庫中取出工件進(jìn)行服務(wù)即工件的服務(wù)過程。Agent通過控制CSPS系統(tǒng)各狀態(tài)的前視距離以取得工件到達(dá)過程和服務(wù)過程之間的平衡,從而減少工件流失、降低系統(tǒng)的能耗。其中,工件到達(dá)過程的逗留時(shí)間是服從給

3、定到達(dá)率的隨機(jī)分布,因此到達(dá)率被用來表示工件到達(dá)的速度隨著系統(tǒng)環(huán)境的變化而發(fā)生改變,即可以用工件的到達(dá)率對系統(tǒng)環(huán)境進(jìn)行描述;服務(wù)過程的逗留時(shí)間是服從給定服務(wù)率的隨機(jī)分布,服務(wù)率被用來表示工件服務(wù)過程的速度即服務(wù)率反映工件服務(wù)過程中的加工強(qiáng)度。為了適應(yīng)不同的系統(tǒng)環(huán)境以及對不同環(huán)境下CSPS問題進(jìn)行優(yōu)化,工件的到達(dá)率應(yīng)不斷發(fā)生變化以用于描述不同的系統(tǒng)環(huán)境,同時(shí)也應(yīng)對工件服務(wù)過程中的服務(wù)率進(jìn)行控制以根據(jù)不同的系統(tǒng)環(huán)境對工件的加工強(qiáng)度進(jìn)行調(diào)整。

4、
　　本文考慮在工件到達(dá)率固定和變化的情況的CSPS問題中,在系統(tǒng)的控制決策變量中加入服務(wù)率,即以前視距離和服務(wù)率作為控制決策變量,將CSPS系統(tǒng)建模為半Markov決策過程(Semi-Markov decision process,簡稱為SMDP)并給出SMDP模型的動(dòng)態(tài)特性,然后給出基于理論求解的策略迭代算法和基于學(xué)習(xí)優(yōu)化的Q(?)學(xué)習(xí)算法。另外,在到達(dá)率變化的情況下,存在Agent不知道系統(tǒng)當(dāng)前到達(dá)率的情況即系統(tǒng)到達(dá)率不可知