分布式微博采集系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、微博作為一個新興互聯(lián)網(wǎng)平臺,改變了公眾媒體習(xí)慣和信息傳播模式,并成為社會化媒體中消息最即時、用戶最活躍的信息傳播平臺。截至2012年12月底,中國微博用戶數(shù)已達(dá)到3.09億,占網(wǎng)民總數(shù)的54.7％。針對微博展開的研究有助于了解輿論動向、追蹤熱點話題、區(qū)分社交網(wǎng)絡(luò)中不同社會群體,具有很重要的社會和科研意義,而這些研究都需要大量的微博數(shù)據(jù)做支撐。
　　雖然國內(nèi)外已有眾多機構(gòu)和組織針對微博數(shù)據(jù)采集展開研究,但因為微博具有新興性和特殊性,

2、目前仍沒有出現(xiàn)像針對傳統(tǒng)互聯(lián)網(wǎng)應(yīng)用那樣較為成熟的數(shù)據(jù)采集方法,因此針對微博數(shù)據(jù)采集展開研究具有重要意義。本研究設(shè)計實現(xiàn)了分布式微博采集系統(tǒng),具體工作包括:1)設(shè)計并實現(xiàn)通過調(diào)用開放平臺接口采集微博數(shù)據(jù),包括開放平臺認(rèn)證授權(quán)和編程接口等技術(shù)的研究和使用;2)設(shè)計并實現(xiàn)通過模擬登錄解析頁面采集微博數(shù)據(jù),包括單點登錄、頁面解析等技術(shù)的理解和運用;3)結(jié)合以上兩種采集方式,設(shè)計微博采集系統(tǒng)的總體框架、功能模塊和數(shù)據(jù)庫,并使用分布式策略實現(xiàn)一個高