基于Spark的混合推薦系統(tǒng).pdf

1、隨著信息技術(shù)的快速發(fā)展，信息過(guò)載已經(jīng)成為互聯(lián)網(wǎng)領(lǐng)域面臨的重要挑戰(zhàn)。為了緩解互聯(lián)網(wǎng)用戶與海量數(shù)據(jù)間日益加劇的矛盾，研究人員提出了推薦系統(tǒng)的概念。作為推薦系統(tǒng)的一個(gè)重要分支，混合推薦系統(tǒng)通過(guò)組合多種推薦算法提高系統(tǒng)性能，目前廣泛應(yīng)用于電子商務(wù)、社交網(wǎng)絡(luò)和視頻網(wǎng)站等領(lǐng)域。然而，用戶量與數(shù)據(jù)量的急速增長(zhǎng)對(duì)混合推薦系統(tǒng)的性能提出了更高的要求。例如，視頻網(wǎng)站要求混合推薦系統(tǒng)為用戶精準(zhǔn)推薦各類視頻，并根據(jù)用戶行為的變化訓(xùn)練新的模型，及時(shí)更新推薦結(jié)果。

2、由于數(shù)據(jù)量的增加，開(kāi)發(fā)人員難以利用經(jīng)驗(yàn)確定各推薦算法對(duì)最終結(jié)果的影響程度。因此，粗粒度權(quán)重計(jì)算方法影響混合推薦系統(tǒng)的精度，增加開(kāi)發(fā)難度。此外，由于系統(tǒng)基于大規(guī)模數(shù)據(jù)訓(xùn)練特征模型，訓(xùn)練過(guò)程包含大量迭代計(jì)算，使得訓(xùn)練一次模型的時(shí)間為一天甚至幾天，難以滿足用戶對(duì)推薦系統(tǒng)效率的需求。
　　本文通過(guò)分析不同的數(shù)據(jù)集、推薦算法以及權(quán)重計(jì)算方法的特點(diǎn)，引入適用于迭代計(jì)算的通用大規(guī)模數(shù)據(jù)處理平臺(tái)Spark，設(shè)計(jì)并實(shí)現(xiàn)了基于Spark的混合推薦系統(tǒng)

3、，以提高推薦系統(tǒng)的精度、多樣性和效率。本文的主要工作及創(chuàng)新點(diǎn)如下:
　　1.首先，本文提出一種細(xì)粒度權(quán)重計(jì)算方法，將各推薦算法的權(quán)值擴(kuò)展為權(quán)重向量。該方法提高了評(píng)分預(yù)測(cè)推薦的精度，并有效緩解數(shù)據(jù)稀疏帶來(lái)的冷啟動(dòng)問(wèn)題;
　　2.其次，本文基于大規(guī)模數(shù)據(jù)處理框架Spark，以細(xì)粒度權(quán)重計(jì)算方法為核心，設(shè)計(jì)實(shí)現(xiàn)細(xì)粒度權(quán)重混合子系統(tǒng)。該子系統(tǒng)基于分布式計(jì)算框架Spark降低模型訓(xùn)練時(shí)間，并利用細(xì)粒度權(quán)重計(jì)算方法提高推薦精度。實(shí)驗(yàn)結(jié)果