云平臺推薦算法研究.pdf

1、隨著信息技術的迅猛發(fā)展,信息爆炸使得人們越來越難以從大量內容中找到需要的信息。為解決信息過載問題,學術界及業(yè)界都進行了各種探索。推薦系統(tǒng)便是新興的被發(fā)展用來減輕用戶篩選負擔、為用戶提供個性化內容推薦的有力工具。目前,推薦系統(tǒng)已是各種互聯(lián)網(wǎng)應用的重要組成部分。另外,隨著數(shù)據(jù)和用戶的不斷增加,推薦系統(tǒng)面臨著分析海量數(shù)據(jù)和生成精確推薦的雙重挑戰(zhàn)。
　　Hadoop是一種主流的云計算平臺,它為大數(shù)據(jù)的存儲和并行處理提供了便利。其MapRe

2、duce編程框架是大規(guī)模機器學習的重要工具。機器學習是一門對數(shù)據(jù)構建概率模型并運用模型和統(tǒng)計學方法對數(shù)據(jù)進行分析與預測的學科。這些新興技術的出現(xiàn)為設計推薦系統(tǒng)提供了新的思路。論文以Hadoop為技術背景,對分布式并行計算做了研究,同時運用機器學習的有關理論和算法,圍繞推薦問題展開如下三方面的工作:第一,分析推薦領域的經(jīng)典算法、相關技術以及它們在擴展性上遇到的困難;第二,提出一種基于線性回歸模型的特征學習算法,該算法能從用戶對產(chǎn)品的歷史評

3、分中獲得產(chǎn)品屬性和用戶屬性的特征向量,進而用它們預測未知評分,產(chǎn)生推薦;第三,由于特征學習推薦算法需要對每個產(chǎn)品和用戶單獨建立高維特征向量,因此隨著產(chǎn)品和用戶的增加,算法將需要訓練數(shù)以億計的參數(shù),本文引入MapReduce技術,在Hadoop平臺上對算法做并行化改進。
　　本文提出的特征學習算法應用在MovieLens數(shù)據(jù)集上時,相比較傳統(tǒng)基于相似度的協(xié)同過濾算法預測精度更高,表明使用用戶特征向量和內容特征向量作線性擬合,是產(chǎn)生評