基于隱式反饋的分布式推薦算法研究.pdf

1、互聯(lián)網(wǎng)時(shí)代極大地改變了人們的生活方式。隨著信息技術(shù)的快速普及與發(fā)展，各類互聯(lián)網(wǎng)服務(wù)，無論是電子商務(wù)平臺(tái)、社交網(wǎng)站抑或是在線視頻網(wǎng)站，都在運(yùn)營(yíng)中產(chǎn)生了海量的數(shù)據(jù)。如何處理這些信息，從中挖掘出潛在的知識(shí)并加以利用來產(chǎn)生收益，逐漸成為了各商業(yè)公司的關(guān)注焦點(diǎn)。推薦系統(tǒng)作為一種挖掘用戶偏好并向其推薦商品的技術(shù)，無論在學(xué)術(shù)界還是商業(yè)界都被廣泛研究。
　　基于矩陣分解的相關(guān)方法在推薦大賽Netflix Prize中取得了單模型的較好表現(xiàn)，吸引了

2、大量研究者對(duì)其改進(jìn)和創(chuàng)新。但是，這些方法基于一些前提，這很大程度上限制了它們?cè)趯?shí)際環(huán)境中的應(yīng)用，如1）模型的訓(xùn)練數(shù)據(jù)是用戶的顯示反饋。而在實(shí)際中，系統(tǒng)可能并沒有設(shè)計(jì)顯式評(píng)分的環(huán)節(jié)，而僅有一些收集的用戶行為數(shù)據(jù)，如點(diǎn)擊次數(shù)，瀏覽時(shí)長(zhǎng)等。2）隨著大數(shù)據(jù)時(shí)代來臨，系統(tǒng)規(guī)模呈幾何級(jí)數(shù)增長(zhǎng)。單機(jī)的處理能力，無論從計(jì)算能力還是存儲(chǔ)能力上來看，都越來越無法滿足要求。
　　本文提出并實(shí)現(xiàn)了一個(gè)基于分布式內(nèi)存的矩陣分解算法，同時(shí)針對(duì)隱式反饋數(shù)據(jù)的特

3、點(diǎn)對(duì)模型進(jìn)行了修改，克服了當(dāng)前矩陣分解推薦算法面臨的問題。主要工作如下:
　　1.修改了傳統(tǒng)的基于顯式評(píng)分的矩陣分解模型，使其對(duì)于隱式反饋數(shù)據(jù)也有良好的效果。
　　2.分析了交替最小二乘法存在的并行優(yōu)化空間。
　　3.提出了三種在分布式環(huán)境下的數(shù)據(jù)分發(fā)與緩存策略，并使用spark提供的底層接口實(shí)現(xiàn)了在分布式內(nèi)存上的并行化的交替最小二乘法求解。
　　針對(duì)以上工作，本文設(shè)計(jì)了實(shí)驗(yàn)對(duì)結(jié)果進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，本文提出