基于Hadoop的協(xié)同過濾推薦算法的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)技術(shù)的發(fā)展與普及滿足了互聯(lián)網(wǎng)用戶在信息時代的需求，但是信息數(shù)據(jù)的海量增長又使用戶面臨信息超載問題，個性化推薦系統(tǒng)應(yīng)運(yùn)而生。其中協(xié)同過濾推薦算法是目前個性化推薦技術(shù)中應(yīng)用比較成功的算法之一。但是傳統(tǒng)的協(xié)同過濾推薦存在數(shù)據(jù)稀疏性、冷啟動和可擴(kuò)展性等問題。論文對協(xié)同過濾算法進(jìn)行深入研究，對傳統(tǒng)的協(xié)同過濾算法提出了一些改進(jìn)方案。主要的工作內(nèi)容如下：
　　（1）論文提出在傳統(tǒng)協(xié)同過濾算法計(jì)算項(xiàng)目相似度的過程中，加入項(xiàng)目特征因素。首先根

2、據(jù)項(xiàng)目特征信息計(jì)算出項(xiàng)目在特征方面的相似度，接著計(jì)算項(xiàng)目在用戶評分方面的相似度，然后將項(xiàng)目特征相似度和項(xiàng)目評分相似度相結(jié)合得到項(xiàng)目的綜合相似度。論文改進(jìn)的算法緩解了數(shù)據(jù)稀疏性問題。在改進(jìn)項(xiàng)目相似度計(jì)算中加入了項(xiàng)目特征因素時，項(xiàng)目特征相似度與傳統(tǒng)的項(xiàng)目評分相似度兩者按照一定權(quán)值結(jié)合。合理的權(quán)值選取才能保證最優(yōu)的推薦結(jié)果，因此在訓(xùn)練模塊中通過訓(xùn)練數(shù)據(jù)集去訓(xùn)練權(quán)值，然后比較各權(quán)值下的MAE值，從中選取最優(yōu)權(quán)值為用戶產(chǎn)生推薦。
　?。?）

3、基于Hadoop平臺實(shí)現(xiàn)推薦。面對不斷涌入的用戶和項(xiàng)目，系統(tǒng)負(fù)荷及其開銷增大時，Hadoop平臺系統(tǒng)強(qiáng)大的分布式運(yùn)算能力可提高對大數(shù)據(jù)處理的效率。在綜合項(xiàng)目相似度模塊，通過Hadoop平臺與Mahout框架的交互，項(xiàng)目特征相似度的計(jì)算、項(xiàng)目評分相似度的計(jì)算和綜合項(xiàng)目相似度的計(jì)算都可以進(jìn)行離線處理，這樣就提高了線上給用戶推薦項(xiàng)目的效率。在推薦模塊中，Hadoop平臺結(jié)合了Map-Reduce編程框架對最近鄰選取和產(chǎn)生推薦等各個階段作業(yè)進(jìn)行