基于詞向量和因子分解機(jī)神經(jīng)網(wǎng)絡(luò)模型的CTR預(yù)測(cè)研究.pdf

1、隨著互聯(lián)網(wǎng)時(shí)代的飛速發(fā)展，廣告載體逐漸由傳統(tǒng)的報(bào)刊、雜志等媒介向網(wǎng)絡(luò)轉(zhuǎn)移，計(jì)算廣告由此衍生出來(lái)。根據(jù)廣告展現(xiàn)給用戶的形式，可以將其分為展示廣告和搜索廣告，本文只對(duì)搜索廣告進(jìn)行研究。預(yù)測(cè)互聯(lián)網(wǎng)廣告點(diǎn)擊率(Click-Through Rate,CTR)是十分重要的主題，因?yàn)樗阉饕娴拇罅渴找娑紒?lái)自于廣告。將廣告以合適的方式推薦給用戶能提高點(diǎn)擊事件發(fā)生的概率，進(jìn)一步提升贊助商廣告的知名度。CTR的預(yù)測(cè)準(zhǔn)確度會(huì)影響搜索引擎、用戶和贊助商(廣告主

2、)三方的利益。搜索廣告通常以每次點(diǎn)擊單價(jià)(Cost Per Click,CPC)的競(jìng)價(jià)模式在結(jié)果頁(yè)面上排序，在這種競(jìng)價(jià)模式下，排序的標(biāo)準(zhǔn)按照廣告主的競(jìng)拍單價(jià)與點(diǎn)擊率乘積進(jìn)行降序排列。因此，提高搜索廣告CTR的預(yù)測(cè)準(zhǔn)確度是有意義的。
　　基于統(tǒng)計(jì)的方法預(yù)測(cè)點(diǎn)擊率是最直觀且簡(jiǎn)單的，點(diǎn)擊率等于廣告被點(diǎn)擊的次數(shù)除以該廣告總的展示次數(shù)。這種方法最大的缺點(diǎn)是冷啟動(dòng)問(wèn)題，即無(wú)法計(jì)算一個(gè)沒(méi)有歷史的廣告的點(diǎn)擊率，使用機(jī)器學(xué)習(xí)算法來(lái)建模這個(gè)問(wèn)題是目前

3、最通用的方法。在訓(xùn)練模型之前，需要且必須完成的工作是數(shù)據(jù)預(yù)處理和特征工程，特征提取的好壞直接影響模型的預(yù)測(cè)準(zhǔn)確度。不同廣告日志的原始特征差別甚大而且特征主要由人工設(shè)計(jì)。因此，針對(duì)不同的廣告數(shù)據(jù)集應(yīng)該采取不同的特征提取方案。顯然，在這種方式下特征工程的工作量太大，目前還沒(méi)有一種通用的特征提取方法來(lái)解決這個(gè)問(wèn)題。本文通過(guò)詞表示的思想，使用實(shí)值詞向量表示原始特征，結(jié)合神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的訓(xùn)練算法，提出了一種基于4層神經(jīng)網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)特征上層表示

4、的模型。
　　在預(yù)測(cè)CTR的問(wèn)題上，F(xiàn)ield-aware Factorization Machines(FFM)模型在kaggle的兩個(gè)公開(kāi)的廣告數(shù)據(jù)集(AVAZU和criteo)上效果最佳。通過(guò)分析，我們發(fā)現(xiàn)FFM模型之所以能夠取得很好的效果，原因在于模型在線性表達(dá)式的基礎(chǔ)上增加了特征與特征的乘積關(guān)系，并通過(guò)分解因子為向量的方法，進(jìn)一步提升模型性能。本文結(jié)合因子分解的思想，將神經(jīng)網(wǎng)絡(luò)的最后一個(gè)隱層單元的輸出作為FM模型的輸入，

5、并使用改進(jìn)的反向傳播算法學(xué)習(xí)所有參數(shù)，得到最終的模型，稱(chēng)為基于詞向量和因子分解機(jī)的神經(jīng)網(wǎng)絡(luò)(Word-embedding-based Factorization Machines Neural Network,WFMNN)模型。
　　為了證明WFMNN能夠自適應(yīng)地學(xué)習(xí)多個(gè)廣告數(shù)據(jù)集上的特征，我們基于商業(yè)搜索引擎日志(CSEL)和AVAZU兩個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。結(jié)果表明，在CSEL上WFMNN比目前最佳的方法(FFM)在AUC指標(biāo)上提