基于Spark平臺的混合推薦算法的研究與實現(xiàn).pdf

1、隨著計算機(jī)網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，數(shù)據(jù)規(guī)模呈現(xiàn)出指數(shù)增長的趨勢。面對日益增長的數(shù)據(jù)量，如何從中獲取所需信息成為了一個非常嚴(yán)峻的問題。推薦系統(tǒng)是解決這一問題的有效途徑之一。作為推薦系統(tǒng)的一個分支，協(xié)同過濾推薦技術(shù)無疑是最為典型的且應(yīng)用最廣的。它能夠根據(jù)用戶的興趣進(jìn)行個性化推薦，但是，在推薦過程中卻暴漏出一系列的問題，例如數(shù)據(jù)稀疏性問題、可擴(kuò)展性問題等。
　　稀疏性問題的出現(xiàn)主要是因為數(shù)據(jù)量不足，擴(kuò)展性問題需要考慮算法的并行化及多集群運行

2、。為了解決上述問題，本文提出了Spark平臺下的基于MovieLens數(shù)據(jù)集的混合推薦算法。首先，本文利用基于擴(kuò)充矩陣的協(xié)同聚類模型同時對用戶和電影進(jìn)行聚類操作;然后，利用K-L距離計算出每一個用戶（電影）與其它所有用戶（電影）集群之間的距離;同時通過余弦相似度方法得到用戶（電影）間的相似度，并在距離較近的用戶（電影）集群中篩選出每一個用戶（電影）的相似程度較高的相似用戶（電影）集合?；诘玫降南嗨萍?，本文運用基于用戶的方法和基于電影