基于云計(jì)算的協(xié)同過(guò)濾算法并行化研究.pdf

1、AthesissubmittedtoZhengzhouUniversityforthedegreeofMasterParallelizationResearchonCollaborativeFilteringAlgorithmBasedonCloudComputingByBuyuanLiSupervisor：ProfZhiYunZhengComputerApplicationTechnologyCollegeofInformationa

2、ndEngineeringMay2013摘要摘要隨著信息技術(shù)的發(fā)展，網(wǎng)絡(luò)上數(shù)據(jù)以指數(shù)級(jí)在增長(zhǎng)，出現(xiàn)信息過(guò)量的情況。這種狀況使得用戶不得不花費(fèi)大量的時(shí)間和精力尋找有用的信息。在此背景下，推薦系統(tǒng)應(yīng)用而生，幫助用戶走出信息的海洋，快速找到有用的信息。當(dāng)前，較為流行的推薦方法是協(xié)同過(guò)濾。該方法利用用戶之間興趣的相似性，對(duì)用戶的偏好信息作出推薦。然而，隨著數(shù)據(jù)的快速增長(zhǎng)，協(xié)同過(guò)濾算法的計(jì)算效率越來(lái)越低。本文以此為出發(fā)點(diǎn)，采用并行計(jì)算中的云計(jì)算技

3、術(shù)研究和實(shí)現(xiàn)協(xié)同過(guò)濾。云計(jì)算是并行技術(shù)的發(fā)展，可以有效解決復(fù)雜計(jì)算的計(jì)算效率問(wèn)題。目前，較為流行的云計(jì)算平臺(tái)是Hadoop，本文以其作為實(shí)現(xiàn)平臺(tái)。在Hadoop平臺(tái)上，要實(shí)現(xiàn)協(xié)同過(guò)濾的并行計(jì)算，關(guān)鍵在于解決計(jì)算過(guò)程中數(shù)據(jù)的相關(guān)性。本文以受限玻爾茲曼機(jī)模型和鄰居模型為案例，在詳細(xì)分析其計(jì)算過(guò)程的基礎(chǔ)上，提出基于Hadoop平臺(tái)的算法。該算法根據(jù)MapReduce框架的特點(diǎn)，將其計(jì)算過(guò)程拆分成若干個(gè)任務(wù)。在每個(gè)任務(wù)中，通過(guò)數(shù)據(jù)冗余的機(jī)制，將

4、數(shù)據(jù)復(fù)制多份分配到每個(gè)需要的計(jì)算節(jié)點(diǎn)，從而解決計(jì)算過(guò)程中的數(shù)據(jù)相關(guān)性。同時(shí)，在多個(gè)任務(wù)的計(jì)算中，各個(gè)任務(wù)存在前后依賴的關(guān)系。在將協(xié)同過(guò)濾拆分為多個(gè)任務(wù)時(shí)，利用MapReduce提供的依賴組合式任務(wù)計(jì)算來(lái)解決任務(wù)之間的依賴關(guān)系，實(shí)現(xiàn)不同任務(wù)的并行計(jì)算。最后，本文在以大體量數(shù)據(jù)集為基礎(chǔ)的實(shí)驗(yàn)中來(lái)驗(yàn)證其計(jì)算效率。實(shí)驗(yàn)結(jié)果表明，與在傳統(tǒng)平臺(tái)的實(shí)現(xiàn)相比，基于Hadoop并行架構(gòu)的最近鄰尋找推薦算法和受限玻爾茲曼機(jī)推薦算法，在大體量數(shù)據(jù)集的條件下可