基于強化學(xué)習(xí)的電子銷售市場動態(tài)定價研究.pdf

1、隨著Internet技術(shù)的迅猛發(fā)展，電子商務(wù)得到了廣泛應(yīng)用，電子銷售市場中的動態(tài)定價問題研究具有十分重要的現(xiàn)實意義。論文主要使用強化學(xué)習(xí)技術(shù)來分別解決單個銷售商和多個銷售商壟斷電子銷售市場的動態(tài)定價問題。 論文首先根據(jù)單個銷售商壟斷電子銷售市場的模型特點，將其建模成半馬爾可夫決策過程(Semi-Markov Decision Process，SMDP)，并結(jié)合性能勢理論，建立了適用于平均和折扣兩種性能準(zhǔn)則的Q學(xué)習(xí)算法和模擬退火Q

2、學(xué)習(xí)算法，以解決單個銷售商的動態(tài)定價問題。與簡單的動態(tài)定價方法DF(Derivative Following)相比，這兩種算法的學(xué)習(xí)效果更好，其中模擬退火Q學(xué)習(xí)算法能夠有效解決Q學(xué)習(xí)中的探索和利用之間的平衡問題。論文還討論了不同的系統(tǒng)參數(shù)對銷售商收益的影響。 論文還針對兩個銷售商壟斷電子銷售市場的模型，研究了彼此之間沒有信息交互和只有部分信息交互兩種情況下的動態(tài)定價問題。第一種情況下，每個銷售商單獨學(xué)習(xí)，決策時刻各自獨立，因而是

3、異步?jīng)Q策問題：第二神情況下，銷售商之間只能觀察到對方的狀態(tài)信息，而不知道對方的行動和報酬，因而可建模成馬爾可夫博弈。針對這兩種情況，論文在性能勢理論框架下分別引入了WoLF-PHC算法，該算法根據(jù)對手使用的行動不同，而采用不同的學(xué)習(xí)率，從而能夠更好地適應(yīng)環(huán)境的變化。實驗結(jié)果表明，WoLF-PHC算法和模擬退火Q學(xué)習(xí)算法都能有效解決無信息交互和只有部分信息交互時的動態(tài)定價問題，而且與模擬退火Q學(xué)習(xí)算法相比，WoLF-PHC算法學(xué)習(xí)效果更好