面向互聯(lián)網(wǎng)用戶的個性化廣告推送服務研究——基于Hadoop.pdf

1、近年來，隨著寬帶互聯(lián)網(wǎng)的迅速發(fā)展以及網(wǎng)民數(shù)量不斷攀升，互聯(lián)網(wǎng)上的廣告推送服務迎來了新的商機，已經(jīng)得到了眾多的門戶網(wǎng)站、購物網(wǎng)站以及社交網(wǎng)站等的關注。在互聯(lián)網(wǎng)廣告推送服務中，網(wǎng)站將其廣告位以有償使用的方式提供給廣告主投放廣告。廣告主在使用廣告推送服務時，一方面希望提高產品廣告的推送效果，即將廣告及時準確地推送給對此類產品感興趣的目標客戶;另一方面，還希望擴大廣告推送的范圍，即將廣告推送給更多的目標客戶。為此，就出現(xiàn)了一種由數(shù)據(jù)管理平臺(D

2、MP)和需求方平臺(DSP)組成的新的廣告推送運營模式。在這種運營模式中，數(shù)據(jù)管理平臺主要負責收集到各方的用戶數(shù)據(jù)，并對收集到的用戶數(shù)據(jù)進行分析，最終得到用戶的興趣特征;DSP則將DMP中用戶特征數(shù)據(jù)作為數(shù)據(jù)輸入，廣告主自定義其競價規(guī)則，最終由DSP平臺運營商將廣告推送給用戶。
　　互聯(lián)網(wǎng)寬帶提供商(ISP)作為提供互聯(lián)網(wǎng)的服務商，相對于單個電子門戶網(wǎng)站，其覆蓋的用戶數(shù)量要大得多，其用戶群體分布非常廣泛。一個用戶在使用ISP提供的

3、互聯(lián)網(wǎng)訪問服務時，在ISP的日志中留下了該用戶訪問所有網(wǎng)站的記錄。這些日志數(shù)據(jù)蘊含著更為全面的用戶興趣特征?？梢姡?jīng)由ISP的日志中分析出的用戶興趣特征數(shù)據(jù)在互聯(lián)網(wǎng)廣告推送服務應用中具有得天獨厚的優(yōu)勢，其成為DMP的重要數(shù)據(jù)來源。
　　為此，本課題以某運營商的用戶寬帶訪問記錄為基礎數(shù)據(jù)，在數(shù)據(jù)管理平臺中對基礎數(shù)據(jù)進行分析得到用戶的興趣特征庫，在此基礎上利用信息推送技術、個性化廣告推送技術等，設計并實現(xiàn)了一種基于MapReduce并

4、行框架的個性化廣告推送服務系統(tǒng)。
　　首先，本文對面向互聯(lián)網(wǎng)用戶的個性化廣告推送服務進行了需求描述，并設計了個性化廣告推送服務系統(tǒng)的總體架構。對個性化廣告推送服務的數(shù)據(jù)輸入的數(shù)據(jù)管理平臺也進行了深入的闡述，主要針對其中識別有效的cookie項聚合session，最終達到識別日志文件中的獨立用戶。
　　然后，本文考慮MapReduce在大數(shù)據(jù)處理上所具有的優(yōu)勢，試圖將MapReduce與傳統(tǒng)的實時競價方法相結合，提出了一種分布

5、式的實時競價算法，并將之運用于個性化廣告推送服務中。本文以Hadoop集群框架為基礎，設計了分布式MR-RTB算法實現(xiàn)高效的廣告主的實時競價算法，并將其運用到廣告推送服務中。MR-RTB算法中的核心在設計了高效的數(shù)據(jù)分區(qū)策略和連接查詢處理算法，本課題中利用Hash函數(shù)設計的數(shù)據(jù)分區(qū)策略可以避免節(jié)點的頻繁加入和退出，極大限度的減少平均響應時間。
　　最后，本課題中采用合適的Hadoop開源平臺和Eclipse開發(fā)環(huán)境對廣告推送服務進