多品種CSPS系統(tǒng)的RBF--Q學習優(yōu)化方法.pdf

1、現(xiàn)實世界的一些生產(chǎn)加工企業(yè)中，存在一類由生產(chǎn)加工站作為加工主體的生產(chǎn)線，稱為傳送帶給料生產(chǎn)加工站(Conveyor-Serviced Production Station，簡稱為CSPS)，并且隨著社會需求的多樣化，多品種生產(chǎn)方式成為一種趨勢，此方式能夠有效地提高生產(chǎn)效率并滿足多樣化生產(chǎn)等需求。
　　論文研究了一類多品種工件到達的CSPS系統(tǒng)的前視距離(Look-ahead)優(yōu)化控制問題，其優(yōu)化目標是通過選擇一個合理控制策略，實現(xiàn)

2、系統(tǒng)的長遠期望代價達到最優(yōu)。理論上，該優(yōu)化問題可以通過數(shù)值迭代的方法來進行求解，但是該方法依賴精確的模型參數(shù)。模型無關的Q學習算法可以克服這個缺點，但是需要對行動進行離散化處理，缺少信息泛化能力。在工件品種數(shù)增加的情況下，系統(tǒng)狀態(tài)規(guī)模會呈現(xiàn)指數(shù)性增長，傳統(tǒng)Q學習算法在面對大規(guī)模離散狀態(tài)時會面臨維數(shù)災難問題。
　　(1)針對以上的問題，論文引入具有較好信息泛化能力與快速學習能力的RBF神經(jīng)網(wǎng)絡與Q學習算法相結合，并應用到多品種CSP

3、S系統(tǒng)的優(yōu)化控制中，利用RBF網(wǎng)絡對大規(guī)模的狀態(tài)空間進行值函數(shù)逼近，實現(xiàn)了連續(xù)行動空間的Q學習，并給出了RBF-Q學習算法。彌補了理論求解中對模型參數(shù)的依賴和Q學習自身的不足。RBF網(wǎng)絡的輸入為狀態(tài)行動對，輸出為該狀態(tài)行動對的Q值。針對不同的品種數(shù)情況，進行了仿真分析，并與傳統(tǒng)的Q學習方法進行了對比。仿真結果表明，RBF-Q學習算法可以對多品種CSPS系統(tǒng)性能代價進行有效地優(yōu)化，并且提高了學習速度。
　　(2)進一步地，論文分析了