分布式微博信息采集平臺的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)、社交網(wǎng)絡(luò)和移動網(wǎng)絡(luò)的高速發(fā)展，對于海量數(shù)據(jù)的收集、分析、應(yīng)用和預(yù)測已經(jīng)成為各個領(lǐng)域的研究熱點。目前，對海量數(shù)據(jù)的采集主要是整個網(wǎng)絡(luò)范圍的采集，比如各種搜索引擎，或者是單機模式的采集，這樣的數(shù)據(jù)采集方案沒有針對性或者性能較差。因此，分布式的垂直采集方案由此產(chǎn)生。
　　本文設(shè)計并實現(xiàn)了基于分布式模型的微博數(shù)據(jù)采集系統(tǒng)。數(shù)據(jù)采集采用模擬瀏覽器登陸后抓取頁面以及解析頁面的設(shè)計方案，考慮到可擴展性，系統(tǒng)架構(gòu)采用Master/

2、Slave的分布式模型。整個系統(tǒng)包括控制節(jié)點和工作節(jié)點兩大部分。1)控制節(jié)點負責(zé)任務(wù)調(diào)度、任務(wù)狀態(tài)檢測和爬取數(shù)據(jù)的存儲，其中任務(wù)調(diào)度模塊采用基于優(yōu)先級的FIFO算法實現(xiàn)，任務(wù)狀態(tài)通過周期性的心跳機制檢測，而數(shù)據(jù)存儲采用批量數(shù)據(jù)存儲方案。2)工作節(jié)點主要負責(zé)任務(wù)執(zhí)行、任務(wù)狀態(tài)匯報和任務(wù)申請。任務(wù)執(zhí)行使用HTTPClient工具進行頁面數(shù)據(jù)抓取，然后使用XQuery模板對目標(biāo)數(shù)據(jù)進行解析。任務(wù)狀態(tài)匯報基于工作節(jié)點周期性地向控制節(jié)點匯報本地任