實(shí)時(shí)社交媒體分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著國際互聯(lián)網(wǎng)絡(luò)的進(jìn)一步普及以及網(wǎng)絡(luò)之上所承載的信息量的進(jìn)一步豐富,互聯(lián)網(wǎng)成為新的媒體已經(jīng)是不爭(zhēng)的事實(shí),眾多社交網(wǎng)站的訪問量已不亞于傳統(tǒng)媒體,以臉譜網(wǎng)和推特網(wǎng)為代表的社交網(wǎng)站已經(jīng)成為了互聯(lián)網(wǎng)信息傳播的新勢(shì)力,它們散發(fā)出的巨大能量使得傳播領(lǐng)域出現(xiàn)了一個(gè)新的名詞——社交媒體。同時(shí),由社交媒體產(chǎn)生的社交媒體數(shù)據(jù)也蘊(yùn)含著巨大的信息。本文構(gòu)建了一個(gè)以Twitter網(wǎng)站數(shù)據(jù)為基礎(chǔ),對(duì)用戶的社交媒體數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析的實(shí)時(shí)社交媒體分析系統(tǒng)。該分析系統(tǒng)以

2、Twitter Storm流計(jì)算系統(tǒng)為平臺(tái),利用Twitter API和Python NLTK等技術(shù),實(shí)現(xiàn)對(duì)社交媒體數(shù)據(jù)的關(guān)鍵字提取和情感分析等任務(wù),為用戶提供數(shù)據(jù)推薦。
　　首先,根據(jù)系統(tǒng)的應(yīng)用場(chǎng)景和需求定義確定技術(shù)方案,選擇Twitter Storm流計(jì)算系統(tǒng)實(shí)現(xiàn)對(duì)社交媒體數(shù)據(jù)的快速處理,保證系統(tǒng)持續(xù)計(jì)算和實(shí)時(shí)性;并選擇Python NLTK解決關(guān)鍵字抽取和情感分析任務(wù)。
　　然后根據(jù)需求定義將系統(tǒng)劃分為Twitter

3、Streaming API適配模塊、流計(jì)算和短文本分析模塊、數(shù)據(jù)維護(hù)模塊、網(wǎng)絡(luò)結(jié)構(gòu)分析模塊、內(nèi)容推送模塊以及配置和日志模塊,前五個(gè)模塊主要用于實(shí)現(xiàn)系統(tǒng)功能目標(biāo),而配置和日志模塊提高了系統(tǒng)的可用性。流計(jì)算和短文本分析模塊包括Twitter Storm系統(tǒng)執(zhí)行邏輯和Python NLTK文本分析邏輯,利用Twitter Storm系統(tǒng)對(duì)流數(shù)據(jù)的處理優(yōu)勢(shì)實(shí)現(xiàn)對(duì)社交媒體流數(shù)據(jù)的快速處理,利用Python NLTK抽取Twitter數(shù)據(jù)的關(guān)鍵字,

4、使用樸素貝葉斯分離器實(shí)現(xiàn)對(duì)社交媒體數(shù)據(jù)的情感分析,樸素貝葉斯分類器以其簡(jiǎn)單高效的計(jì)算模式和相對(duì)合理的計(jì)算結(jié)果,能夠提高系統(tǒng)的計(jì)算質(zhì)量和響應(yīng)時(shí)間;網(wǎng)絡(luò)結(jié)構(gòu)分析模塊利用節(jié)點(diǎn)相似度和Q值算法實(shí)現(xiàn)對(duì)用戶群的社群劃分工作,節(jié)點(diǎn)相似度計(jì)算利用矩陣運(yùn)算得到所有節(jié)點(diǎn)的相似度拓?fù)湫蛄?而Q值算法利用相似度計(jì)算結(jié)果分析得到相對(duì)合理的社群劃分方案;系統(tǒng)配置利用Zookeeper提供的鎖機(jī)制保證配置完整性。
　　最后,進(jìn)行模塊和系統(tǒng)測(cè)試,對(duì)系統(tǒng)各個(gè)模塊和