基于Spark的個性化推薦系統(tǒng)的研究與實現(xiàn).pdf

1、在大數(shù)據(jù)背景下，現(xiàn)代互聯(lián)網(wǎng)的高速發(fā)展每天都會產(chǎn)生大量數(shù)據(jù)，對海量數(shù)據(jù)的挖掘分析并提取出具有價值的信息是一項具有深遠意義的研究。如何從海量數(shù)據(jù)中挖掘有價值的信息具有重大研究意義。大數(shù)據(jù)時代資訊極度豐富，信息過載問題日趨嚴重，用戶需要花費大量的時間來選擇自己感興趣的信息或者物品。如何快速、準確的找到自己關(guān)心的信息已變得越來越難。為了解決這一問題，個性化推薦系統(tǒng)應(yīng)運而生。
　　由于需要從海量數(shù)據(jù)中篩選有價值的信息，推薦系統(tǒng)需要分析的數(shù)據(jù)

2、量十分龐大。如何能準確、實時的響應(yīng)用戶需求，這就要求推薦系統(tǒng)具有很強的數(shù)據(jù)挖掘分析能力。近些年出現(xiàn)了較多的開源大數(shù)據(jù)處理框架，目前主流的框架包括Hadoop和Spark。Spark是新一代并行計算框架，已經(jīng)成為大數(shù)據(jù)處理領(lǐng)域的研究熱點。將推薦系統(tǒng)構(gòu)建在Spark框架之上，結(jié)合Spark強大的大數(shù)據(jù)處理能力，借助其內(nèi)存計算的優(yōu)勢，將大大提升推薦系統(tǒng)的性能。本文主要研究了基于 Spark框架的個性化推薦系統(tǒng)的設(shè)計與實現(xiàn)，并針對算法中的一些不

3、足進行了改進。本文的主要研究工作包括以下幾個方面：
　　1）分析了幾種目前主流的推薦算法的實際應(yīng)用場景以及特點，并改進了算法存在的不足。主要分析了協(xié)同過濾算法，基于內(nèi)容的推薦算法和基于SVD的推薦算法。
　　2）結(jié)合列式存儲文件類型 Parquet設(shè)計并實現(xiàn)了一個高效的數(shù)據(jù)倉庫，滿足推薦系統(tǒng)在計算過程中快速讀寫查詢需求。該數(shù)據(jù)倉庫是本文實現(xiàn)推薦系統(tǒng)的基石，大大提高了其計算效率。
　　3）利用Spark的編程模型設(shè)計并實