云計算環(huán)境下的社交網(wǎng)絡(luò)好友推薦系統(tǒng)研究.pdf

1、社交網(wǎng)絡(luò)往往擁有海量用戶，因此會產(chǎn)生超大規(guī)模的數(shù)據(jù)集。如何幫助用戶從海量數(shù)據(jù)中快速找到有用的信息，成為大數(shù)據(jù)時代的一個嚴峻的挑戰(zhàn)，也是社交網(wǎng)絡(luò)重點關(guān)注的方向。大規(guī)模數(shù)據(jù)帶來海量、高速存儲的需求。為了對大規(guī)模數(shù)據(jù)進行有效計算，必須最大限度利用計算和網(wǎng)絡(luò)資源，計算虛擬化和網(wǎng)絡(luò)虛擬化必不可少。傳統(tǒng)的系統(tǒng)軟件難以對這些分布式、異構(gòu)的計算、存儲、網(wǎng)絡(luò)資源進行有效管理，而云計算技術(shù)能夠?qū)Υ笠?guī)模數(shù)據(jù)進行非常高效的存儲和計算，是應(yīng)對信息過載和推薦系統(tǒng)的

2、可擴展性問題的一種有效手段。開源軟件Hadoop提供了云計算軟件平臺的基礎(chǔ)架構(gòu)，包括HDFS和MapReduce，并整合了數(shù)據(jù)庫等許多組件。Hadoop能夠?qū)Υ笠?guī)模數(shù)據(jù)進行分布式處理，擁有高效性、高可靠性、高可伸縮性以及價格低廉等許多優(yōu)點，也因此廣泛應(yīng)用于學術(shù)界和工業(yè)界。
　　本文研究在Hadoop云平臺上的社交網(wǎng)絡(luò)好友推薦系統(tǒng)。根據(jù)社交網(wǎng)絡(luò)的數(shù)據(jù)特點，確定了好友關(guān)系網(wǎng)絡(luò)、互動情況和興趣愛好三類信息作為好友推薦的主要依據(jù)，將傳統(tǒng)推

3、薦系統(tǒng)中的協(xié)同過濾技術(shù)應(yīng)用到好友推薦領(lǐng)域以獲得社交維度的交友傾向，用數(shù)據(jù)挖掘中計算文本相似度的方法來評估用戶間的興趣相似度，然后綜合以上信息得到推薦結(jié)果。為了分析和處理大規(guī)模數(shù)據(jù)，對算法進行了MapReduce化改進。系統(tǒng)主要包括數(shù)據(jù)采集和預處理模塊、數(shù)據(jù)存儲模塊和數(shù)據(jù)處理模塊。數(shù)據(jù)采集模塊利用網(wǎng)絡(luò)爬蟲或者社交網(wǎng)站開放 API獲取用戶數(shù)據(jù)，并對數(shù)據(jù)進行分詞等預處理，使其符合推薦算法的輸入格式要求。數(shù)據(jù)存儲模塊確定數(shù)據(jù)文件的存取形式以及數(shù)