基于AWS GPU集群的協(xié)同過(guò)濾算法的研究及應(yīng)用.pdf

1、移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展，加劇了互聯(lián)網(wǎng)的信息過(guò)載，用戶(hù)很難從海量的數(shù)據(jù)中獲取自己感興趣的內(nèi)容，個(gè)性化推薦系統(tǒng)可以緩解大數(shù)據(jù)給用戶(hù)帶來(lái)的選擇壓力。協(xié)同過(guò)濾算法是個(gè)性化推薦領(lǐng)域應(yīng)用最廣泛的算法，然而該算法在處理大數(shù)據(jù)規(guī)模的推薦問(wèn)題時(shí)，計(jì)算耗時(shí)大，推薦效率低下，且算法的可擴(kuò)展性差，不能滿(mǎn)足現(xiàn)實(shí)生產(chǎn)的需要。當(dāng)前人們主要利用分布式集群的并行計(jì)算來(lái)提高算法的執(zhí)行效率，集群計(jì)算需要搭建本地的數(shù)據(jù)中心或者租賃集群服務(wù)，集群管理和擴(kuò)展的成本高。在并行計(jì)算領(lǐng)域

2、，GPU由于其高并行、高內(nèi)存寬帶和成本低等特點(diǎn)引起業(yè)界的關(guān)注。然而單GPU的計(jì)算能力有限，在本地搭建GPU集群同樣有著可擴(kuò)展性和集群管理等問(wèn)題。亞馬遜的云計(jì)算平臺(tái)提供了云環(huán)境下的GPU集群，與本地GPU環(huán)境相比，云GPU集群擁有更高的計(jì)算能力，且成本低可擴(kuò)展性好。因此，本文提出一種基于AWS GPU集群的協(xié)同過(guò)濾算法，實(shí)驗(yàn)證明，AWS GPU集群的計(jì)算能顯著提高算法的執(zhí)行效率，與CPU上串行執(zhí)行相比，本文的算法最高可以獲得390倍的加速

3、比。然后本文介紹了在AWS做應(yīng)用系統(tǒng)的設(shè)計(jì)的思路，利用本文提出的算法實(shí)現(xiàn)了一個(gè)閱讀類(lèi)的內(nèi)容聚合平臺(tái)，為企業(yè)搭建基于云的個(gè)性化推薦系統(tǒng)提供了一種可行的方案。
　　本文的主要工作有:
　　(1)針對(duì)大數(shù)據(jù)規(guī)模下協(xié)同過(guò)濾算法的可擴(kuò)展性差的問(wèn)題，本文設(shè)計(jì)了一種基于AWS GPU集群的協(xié)同過(guò)濾推薦算法的實(shí)現(xiàn)方法。本文在設(shè)計(jì)并行算法的過(guò)程中解決了一系列問(wèn)題包括:AWS上GPU集群中各節(jié)點(diǎn)的任務(wù)劃分問(wèn)題;各節(jié)點(diǎn)計(jì)算數(shù)據(jù)動(dòng)態(tài)傳輸問(wèn)題;推薦算

4、法具體過(guò)程的GPU并行問(wèn)題。本文實(shí)現(xiàn)在不影響算法精度的前提下提高算法的性能，降低了推薦系統(tǒng)的成本，為普通用戶(hù)研究并行協(xié)同過(guò)濾推薦系統(tǒng)提供了一種可行的方法，同時(shí)為中小型企業(yè)搭建基于云計(jì)算平臺(tái)的推薦系統(tǒng)提供了參考。
　　(2)將本文提出的基于AWS GPU集群的并行協(xié)同過(guò)濾推薦算法應(yīng)用內(nèi)容聚合類(lèi)應(yīng)用的個(gè)性化推薦系統(tǒng)中。本文通過(guò)收集用戶(hù)對(duì)應(yīng)用的歷史操作信息挖掘出隱式的用戶(hù)-物品評(píng)分表，然后將本文提出的算法作為應(yīng)用個(gè)性化推薦系統(tǒng)的核心。最