分布式微博采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、微博作為一個(gè)新興互聯(lián)網(wǎng)平臺(tái),改變了公眾媒體習(xí)慣和信息傳播模式,并成為社會(huì)化媒體中消息最即時(shí)、用戶最活躍的信息傳播平臺(tái)。截至2012年12月底,中國(guó)微博用戶數(shù)已達(dá)到3.09億,占網(wǎng)民總數(shù)的54.7％。針對(duì)微博展開的研究有助于了解輿論動(dòng)向、追蹤熱點(diǎn)話題、區(qū)分社交網(wǎng)絡(luò)中不同社會(huì)群體,具有很重要的社會(huì)和科研意義,而這些研究都需要大量的微博數(shù)據(jù)做支撐。
　　雖然國(guó)內(nèi)外已有眾多機(jī)構(gòu)和組織針對(duì)微博數(shù)據(jù)采集展開研究,但因?yàn)槲⒉┚哂行屡d性和特殊性,

2、目前仍沒(méi)有出現(xiàn)像針對(duì)傳統(tǒng)互聯(lián)網(wǎng)應(yīng)用那樣較為成熟的數(shù)據(jù)采集方法,因此針對(duì)微博數(shù)據(jù)采集展開研究具有重要意義。本研究設(shè)計(jì)實(shí)現(xiàn)了分布式微博采集系統(tǒng),具體工作包括:1)設(shè)計(jì)并實(shí)現(xiàn)通過(guò)調(diào)用開放平臺(tái)接口采集微博數(shù)據(jù),包括開放平臺(tái)認(rèn)證授權(quán)和編程接口等技術(shù)的研究和使用;2)設(shè)計(jì)并實(shí)現(xiàn)通過(guò)模擬登錄解析頁(yè)面采集微博數(shù)據(jù),包括單點(diǎn)登錄、頁(yè)面解析等技術(shù)的理解和運(yùn)用;3)結(jié)合以上兩種采集方式,設(shè)計(jì)微博采集系統(tǒng)的總體框架、功能模塊和數(shù)據(jù)庫(kù),并使用分布式策略實(shí)現(xiàn)一個(gè)高