基于深度強化學(xué)習(xí)的大規(guī)模自適應(yīng)服務(wù)組合問題研究.pdf

1、在面向服務(wù)的系統(tǒng)架構(gòu)中，將已有的簡單服務(wù)組合起來構(gòu)建滿足用戶復(fù)雜需求的增值服務(wù)，即服務(wù)組合已成為一項極具實際價值的研究熱點。隨著Web服務(wù)技術(shù)的快速發(fā)展，大量功能屬性相同而非功能屬性(QoS)各異的Web服務(wù)大量涌現(xiàn)，服務(wù)篩選及組合優(yōu)化成為服務(wù)組合問題面臨的挑戰(zhàn)。一方面如何在保證服務(wù)組合業(yè)務(wù)流基本功能的基礎(chǔ)上，在大規(guī)模的服務(wù)場景下為每個任務(wù)選擇合適的服務(wù)以達到最優(yōu)的組合結(jié)果(QoS最大化);另一方面，基于網(wǎng)絡(luò)的Web服務(wù)具有內(nèi)在的動態(tài)變

2、化性，組合的環(huán)境也是復(fù)雜不穩(wěn)定的，組合系統(tǒng)需要保證其自適應(yīng)性，面對外部環(huán)境的變化和服務(wù)自身的演化作出及時的反應(yīng)和調(diào)整。針對以上挑戰(zhàn)，Web服務(wù)組合系統(tǒng)需要在大規(guī)模動態(tài)性服務(wù)組合場景下仍保持準(zhǔn)確性和高效性是目前亟待解決的問題。
　　本文主要圍繞基于大規(guī)模、自適應(yīng)性服務(wù)組合展開研究，主要完成了以下工作:
　　(1)根據(jù)服務(wù)組合流程的復(fù)雜性和候選服務(wù)的多樣性所造成的服務(wù)組合規(guī)模龐大的問題，提出了一種基于深度強化學(xué)習(xí)的自適應(yīng)性服務(wù)組

3、合方法。該方法利用深度學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)優(yōu)化強化學(xué)習(xí)算法，預(yù)測目標(biāo)函數(shù)、增強其表達和泛化的能力，有效的解決了傳統(tǒng)強化學(xué)習(xí)在面對大規(guī)?；蜻B續(xù)狀態(tài)空間問題上的缺陷，在大規(guī)模動態(tài)性服務(wù)組合場景下具有極高的應(yīng)用價值。
　　(2)本文采用啟發(fā)式的行為選擇策略，將狀態(tài)集分為隱藏狀態(tài)和完全可見狀態(tài)。有效的模擬隱藏狀態(tài)空間下的策略空間和完全可見狀態(tài)下的評估函數(shù)，采用針對性的行為選擇策略，進一步的提高組合結(jié)果的準(zhǔn)確性和效率。
　　(3)本文通過