基于Spark的個(gè)性化推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，網(wǎng)絡(luò)上的資源逐漸由匱乏狀態(tài)轉(zhuǎn)變?yōu)楝F(xiàn)在的爆發(fā)式增長(zhǎng)狀態(tài)。在信息爆炸的時(shí)代，利用推薦系統(tǒng)處理過(guò)載信息，可以使用戶更方便的找到自己所需的內(nèi)容，電影推薦系統(tǒng)就是要在大量用戶觀影行為和電影數(shù)據(jù)上進(jìn)行分析與計(jì)算，得到推薦結(jié)果并傳達(dá)給用戶。
　　為了能夠更快的處理大量信息，Hadoop應(yīng)運(yùn)而生，解決了大數(shù)據(jù)的可靠存儲(chǔ)及處理問(wèn)題。但是，隨著大數(shù)據(jù)處理技術(shù)的普及，人們發(fā)現(xiàn)MapRecue也存在一些局限性，使用起來(lái)也較為困難

2、。其問(wèn)題有抽象層次較低，使用難以上手，只提供兩種操作Map及Reduce表達(dá)力欠缺，中間結(jié)果也放在HDFS文件系統(tǒng)中，延時(shí)較高，對(duì)于迭代計(jì)算性能比較差。因此，技術(shù)發(fā)展的趨勢(shì)將會(huì)是Hadoop MapReduce被新一代大數(shù)據(jù)處理平臺(tái)所替代，而Spark平臺(tái)目前得到廣泛的認(rèn)可。
　　本文的主要研究的內(nèi)容是利用分布式Spark平臺(tái)計(jì)算優(yōu)勢(shì)，幫助用戶從龐大的影視信息中找出他們感興趣的電影，并向用戶推薦，避免讓用戶陷入信息過(guò)多的困擾。本文

3、研究的重點(diǎn)主要有以下幾個(gè)方面：
　　1、設(shè)計(jì)一套基于分布式Spark平臺(tái)的推薦系統(tǒng)及其相關(guān)協(xié)作系統(tǒng)。這些協(xié)作系統(tǒng)保證了推薦系統(tǒng)的正常運(yùn)行。其中存儲(chǔ)系統(tǒng)作為數(shù)據(jù)的存儲(chǔ)支撐，保證系統(tǒng)數(shù)據(jù)的可靠性和存取效率，展示頁(yè)面是聯(lián)系推薦系統(tǒng)與用戶的重要橋梁，利用Dubbox框架將系統(tǒng)改進(jìn)成服務(wù)化架構(gòu)，解耦整個(gè)系統(tǒng)，使系統(tǒng)能夠橫向擴(kuò)展。
　　2、本文著重介紹了推薦系統(tǒng)的核心——推薦引擎，深入研究其算法，包括協(xié)同過(guò)濾推薦算法和基于題材相關(guān)性推薦