多品種CSPS系統(tǒng)的RBF--Q學(xué)習(xí)優(yōu)化方法.pdf

1、現(xiàn)實世界的一些生產(chǎn)加工企業(yè)中，存在一類由生產(chǎn)加工站作為加工主體的生產(chǎn)線，稱為傳送帶給料生產(chǎn)加工站(Conveyor-Serviced Production Station，簡稱為CSPS)，并且隨著社會需求的多樣化，多品種生產(chǎn)方式成為一種趨勢，此方式能夠有效地提高生產(chǎn)效率并滿足多樣化生產(chǎn)等需求。
　　論文研究了一類多品種工件到達(dá)的CSPS系統(tǒng)的前視距離(Look-ahead)優(yōu)化控制問題，其優(yōu)化目標(biāo)是通過選擇一個合理控制策略，實現(xiàn)

2、系統(tǒng)的長遠(yuǎn)期望代價達(dá)到最優(yōu)。理論上，該優(yōu)化問題可以通過數(shù)值迭代的方法來進(jìn)行求解，但是該方法依賴精確的模型參數(shù)。模型無關(guān)的Q學(xué)習(xí)算法可以克服這個缺點，但是需要對行動進(jìn)行離散化處理，缺少信息泛化能力。在工件品種數(shù)增加的情況下，系統(tǒng)狀態(tài)規(guī)模會呈現(xiàn)指數(shù)性增長，傳統(tǒng)Q學(xué)習(xí)算法在面對大規(guī)模離散狀態(tài)時會面臨維數(shù)災(zāi)難問題。
　　(1)針對以上的問題，論文引入具有較好信息泛化能力與快速學(xué)習(xí)能力的RBF神經(jīng)網(wǎng)絡(luò)與Q學(xué)習(xí)算法相結(jié)合，并應(yīng)用到多品種CSP

3、S系統(tǒng)的優(yōu)化控制中，利用RBF網(wǎng)絡(luò)對大規(guī)模的狀態(tài)空間進(jìn)行值函數(shù)逼近，實現(xiàn)了連續(xù)行動空間的Q學(xué)習(xí)，并給出了RBF-Q學(xué)習(xí)算法。彌補(bǔ)了理論求解中對模型參數(shù)的依賴和Q學(xué)習(xí)自身的不足。RBF網(wǎng)絡(luò)的輸入為狀態(tài)行動對，輸出為該狀態(tài)行動對的Q值。針對不同的品種數(shù)情況，進(jìn)行了仿真分析，并與傳統(tǒng)的Q學(xué)習(xí)方法進(jìn)行了對比。仿真結(jié)果表明，RBF-Q學(xué)習(xí)算法可以對多品種CSPS系統(tǒng)性能代價進(jìn)行有效地優(yōu)化，并且提高了學(xué)習(xí)速度。
　　(2)進(jìn)一步地，論文分析了