基于值函數(shù)的強(qiáng)化學(xué)習(xí)在直復(fù)營銷中的研究.pdf

1、直復(fù)營銷即一種可以得到客戶直接回應(yīng)的營銷模式。作為企業(yè)的一項(xiàng)長期性經(jīng)營活動(dòng)，直復(fù)營銷貫穿于企業(yè)發(fā)展的整個(gè)過程，因此，通常將長期收益作為評(píng)價(jià)營銷效果的指標(biāo)。近年來，隨著智能化的快速發(fā)展，越來越多的企業(yè)希望借助機(jī)器學(xué)習(xí)的力量進(jìn)行營銷決策，但是傳統(tǒng)的監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)方法在處理該問題時(shí)只能最大化單個(gè)決策的即時(shí)收益，而直復(fù)營銷需要隨時(shí)間的推移進(jìn)行連續(xù)決策，因而這兩類方法具有很大的局限性。
　　強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的重要組成部分，主要用于解

2、決序貫決策問題。它通過智能體持續(xù)地與環(huán)境進(jìn)行交互，并從環(huán)境反饋的延遲獎(jiǎng)賞中學(xué)習(xí)狀態(tài)與行為之間的映射關(guān)系，以使得累積獎(jiǎng)賞最大化?？紤]到直復(fù)營銷的過程也是一個(gè)序貫決策過程，并且其追求的長期收益最大化與強(qiáng)化學(xué)習(xí)累積獎(jiǎng)賞最大化的目標(biāo)不謀而合，因此，使用強(qiáng)化學(xué)習(xí)技術(shù)解決直復(fù)營銷決策問題具有天然的優(yōu)勢(shì)，這是本文研究的出發(fā)點(diǎn)。另外，為了更好地適應(yīng)實(shí)際需求，本文從基于值函數(shù)的強(qiáng)化學(xué)習(xí)方法著手，針對(duì)直復(fù)營銷場(chǎng)景中營銷決策點(diǎn)間的時(shí)間間間隔不固定、數(shù)據(jù)負(fù)載大

3、導(dǎo)致學(xué)習(xí)速度慢以及客戶狀態(tài)的部分可觀測(cè)等問題，提出相應(yīng)的改進(jìn)方法，并使用仿真環(huán)境進(jìn)行評(píng)估。具體如下:
　　一方面，針對(duì)直復(fù)營銷場(chǎng)景中營銷決策點(diǎn)間的時(shí)間間隔不固定以及數(shù)據(jù)規(guī)模大導(dǎo)致學(xué)習(xí)速度慢這兩個(gè)問題，本文基于經(jīng)典的強(qiáng)化學(xué)習(xí)算法Q-learning進(jìn)行研究，提出了改進(jìn)的Q-learning算法。具體地，使用均值標(biāo)準(zhǔn)化的方法減少因?yàn)闆Q策點(diǎn)間時(shí)間間隔不固定而給獎(jiǎng)賞信號(hào)帶來的噪聲影響，進(jìn)而又針對(duì)Q值函數(shù)在迭代過程中因?yàn)闀r(shí)間間隔更新不同步而

4、帶來的偏差問題，構(gòu)建一個(gè)標(biāo)準(zhǔn)化因子，并仿照值函數(shù)的更新方法進(jìn)行標(biāo)準(zhǔn)化因子的更新，由此提出Interval-Q算法。接著，針對(duì)Interval-Q算法在處理大規(guī)模數(shù)據(jù)時(shí)，訓(xùn)練速度慢，學(xué)習(xí)效率不高的問題，本文在Q采樣法的基礎(chǔ)上，引入時(shí)間差分(TD)偏差，提出基于TD偏差的Q采樣法。最后，通過仿真實(shí)驗(yàn)證明，本文所提的Interval-Q算法在不定期直復(fù)營銷場(chǎng)景中可以取得更高的收益，另外，基于TD偏差的Q采樣法，可以在減少采樣數(shù)量的同時(shí)達(dá)到更好

5、的學(xué)習(xí)效果。
　　另一方面，針對(duì)傳統(tǒng)強(qiáng)化學(xué)習(xí)算法無法有效處理直復(fù)營銷場(chǎng)景中客戶狀態(tài)部分可觀測(cè)的問題，本文基于深度強(qiáng)化學(xué)習(xí)DQN模型進(jìn)行研究，提出了基于雙網(wǎng)絡(luò)的DQN模型。具體地，首先結(jié)合營銷場(chǎng)景的時(shí)序特點(diǎn)，通過使用基于RNN網(wǎng)絡(luò)的DQN模型(DQN_RNN)以學(xué)習(xí)隱狀態(tài)的方式來解決上述問題。然后，指出DQN_RNN模型在網(wǎng)絡(luò)優(yōu)化過程中不能很好地同時(shí)進(jìn)行隱狀態(tài)的學(xué)習(xí)和值函數(shù)的逼近，并結(jié)合混合模型的思想，由此提出了基于雙網(wǎng)絡(luò)的DQN模

6、型:通過RNN網(wǎng)絡(luò)從監(jiān)督數(shù)據(jù)中學(xué)習(xí)客戶的隱狀態(tài)表示方法，再將RNN網(wǎng)絡(luò)輸出的隱狀態(tài)信息作為DQN網(wǎng)絡(luò)的輸入狀態(tài)進(jìn)行強(qiáng)化學(xué)習(xí)，通過這種方式可以充分發(fā)揮這兩個(gè)網(wǎng)絡(luò)各自的優(yōu)勢(shì)，在提高值函數(shù)逼近效果的同時(shí)也能更好地學(xué)習(xí)隱狀態(tài)。同時(shí)，為了取得更好的策略學(xué)習(xí)效果，本文從網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法兩個(gè)角度進(jìn)行分析，提出三種不同的模型結(jié)構(gòu):雙網(wǎng)絡(luò)獨(dú)立訓(xùn)練模型、雙網(wǎng)絡(luò)一步聯(lián)合訓(xùn)練模型和雙網(wǎng)絡(luò)兩步聯(lián)合訓(xùn)練模型。最后，通過仿真實(shí)驗(yàn)證明，本文所提出的基于雙網(wǎng)絡(luò)的DQN