基于Hadoop的協(xié)同過濾推薦算法的設計與實現.pdf

1、互聯網技術的發(fā)展與普及滿足了互聯網用戶在信息時代的需求，但是信息數據的海量增長又使用戶面臨信息超載問題，個性化推薦系統(tǒng)應運而生。其中協(xié)同過濾推薦算法是目前個性化推薦技術中應用比較成功的算法之一。但是傳統(tǒng)的協(xié)同過濾推薦存在數據稀疏性、冷啟動和可擴展性等問題。論文對協(xié)同過濾算法進行深入研究，對傳統(tǒng)的協(xié)同過濾算法提出了一些改進方案。主要的工作內容如下：
　?。?）論文提出在傳統(tǒng)協(xié)同過濾算法計算項目相似度的過程中，加入項目特征因素。首先根

2、據項目特征信息計算出項目在特征方面的相似度，接著計算項目在用戶評分方面的相似度，然后將項目特征相似度和項目評分相似度相結合得到項目的綜合相似度。論文改進的算法緩解了數據稀疏性問題。在改進項目相似度計算中加入了項目特征因素時，項目特征相似度與傳統(tǒng)的項目評分相似度兩者按照一定權值結合。合理的權值選取才能保證最優(yōu)的推薦結果，因此在訓練模塊中通過訓練數據集去訓練權值，然后比較各權值下的MAE值，從中選取最優(yōu)權值為用戶產生推薦。
　　（2）

3、基于Hadoop平臺實現推薦。面對不斷涌入的用戶和項目，系統(tǒng)負荷及其開銷增大時，Hadoop平臺系統(tǒng)強大的分布式運算能力可提高對大數據處理的效率。在綜合項目相似度模塊，通過Hadoop平臺與Mahout框架的交互，項目特征相似度的計算、項目評分相似度的計算和綜合項目相似度的計算都可以進行離線處理，這樣就提高了線上給用戶推薦項目的效率。在推薦模塊中，Hadoop平臺結合了Map-Reduce編程框架對最近鄰選取和產生推薦等各個階段作業(yè)進行