基于循環(huán)神經(jīng)網(wǎng)絡(luò)的廣告點擊率預(yù)估研究.pdf

1、隨著互聯(lián)網(wǎng)廣告十余年持續(xù)爆炸式的發(fā)展，計算廣告學也隨之應(yīng)運而生。作為計算廣告流量變現(xiàn)的最重要方式之一，廣告點擊率預(yù)估不論從搜索廣告到程序化交易，還是移動互聯(lián)網(wǎng)下的原生廣告，都扮演著關(guān)鍵的角色。廣告點擊率預(yù)估主要是基于海量用戶歷史數(shù)據(jù)，在復(fù)雜的定向規(guī)則下，借助大數(shù)據(jù)技術(shù)和機器學習模型，對候選廣告進行排序預(yù)測，使得在特定的場景下，將合適的廣告展示給合適的受眾用戶。如何解決線性模型學習能力有限、充分挖掘廣告特征之間非線性關(guān)系的問題，一直是相關(guān)

2、領(lǐng)域研究的重點。
　　在充分調(diào)研各種廣告點擊率預(yù)估問題常用的機器學習模型的前提下，提出采用一種基于門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)(the Gated Recurrent Unit Neural Networks，GRU)模型應(yīng)用于廣告點擊率預(yù)估的問題上。進一步，通過優(yōu)化改進門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的步長控制方法，使得模型在更少的迭代輪次下，更好更快地到達最優(yōu)點，從而提高模型的預(yù)估能力。本文的主要工作和取得的成果具體如下:
　　(1)針對淺

3、層和深層模型作特征工程，包括實驗數(shù)據(jù)的分析、預(yù)處理、特征選擇和特征設(shè)計等。采用一種改進的循環(huán)神經(jīng)網(wǎng)絡(luò)—門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)，將一般循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層替換成門單元結(jié)構(gòu)，利用門單元特殊的門控機制來控制梯度傳播，從而提升廣告數(shù)據(jù)特征的學習能力。
　　(2)在門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，設(shè)計了一種優(yōu)化步長控制方法。先設(shè)置一個較大的步長快速尋找全局近似最優(yōu)點，再利用較小的步長通過指數(shù)迭代衰減找到局部最優(yōu)，在迭代速度和準確性上提升模型的預(yù)