社交網(wǎng)絡(luò)數(shù)據(jù)獲取技術(shù)與實(shí)現(xiàn).pdf

1、隨著 Internet和信息技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)上的信息空前豐富。Web按其信息蘊(yùn)藏的深度可分為Surface Web和Deep Web，Deep Web數(shù)據(jù)資源包括需要通過(guò)查詢接口查詢才能生成的頁(yè)面和只有登錄后才可查看的專有網(wǎng)絡(luò)信息。搜索引擎的出現(xiàn)，一定程度上解決了查詢信息的需求，但是傳統(tǒng)搜索引擎無(wú)法索引到這些 Deep Web頁(yè)面。如今快速興起的社交網(wǎng)站，吸引了大量的活躍網(wǎng)絡(luò)用戶，其 Web信息資源更豐富并且具有很高的價(jià)值。本文分

2、析了針對(duì)社交網(wǎng)絡(luò)信息數(shù)據(jù)獲取的框架，設(shè)計(jì)了抓取 Twitter、Facebook和人人網(wǎng)的爬蟲，并且給出了爬蟲管理和數(shù)據(jù)展示的設(shè)計(jì)與實(shí)現(xiàn)。具體研究工作如下：
　　1.研究了 Deep Web爬蟲的框架和模塊設(shè)計(jì)。Deep Web包括可搜索數(shù)據(jù)庫(kù)和專有網(wǎng)絡(luò)。針對(duì)可搜索數(shù)據(jù)庫(kù)，爬蟲首先要發(fā)現(xiàn)數(shù)據(jù)源，然后對(duì)查詢接口歸約，再把抓取結(jié)果聚合。針對(duì)專有網(wǎng)絡(luò)，爬蟲首先要獲得網(wǎng)站授權(quán)，然后抓取頁(yè)面，再對(duì)頁(yè)面進(jìn)行分析，最后把結(jié)果聚合。
　　2

3、.設(shè)計(jì)實(shí)現(xiàn)了 Twitter、Facebook和人人網(wǎng)的爬蟲。Twitter爬蟲的數(shù)據(jù)獲取策略是首先通過(guò) OAuth認(rèn)證獲取 Access Token，然后調(diào)用Twitter API增量抓取用戶 Twitter數(shù)據(jù)。Facebook爬蟲，抓取策略是使用HtmlUnit登錄，獲得一個(gè)Access Token，然后調(diào)用Facebook Graph API增量抓取用戶的新鮮事，解析返回的JSON數(shù)據(jù)并且統(tǒng)一格式。人人網(wǎng)爬蟲抓取策略是使用Htm

4、lUnit構(gòu)造瀏覽器 WebClient登錄，并保存 Cookie，然后使用WebClient增量抓取用戶頁(yè)面，解析狀態(tài)和日志。經(jīng)過(guò)功能測(cè)試和大規(guī)模性能測(cè)試，爬蟲能夠滿足實(shí)際工作需要，具有穩(wěn)定性和適應(yīng)性。
　　3.研究了爬蟲管理系統(tǒng)的實(shí)現(xiàn)。設(shè)計(jì)了一個(gè)管理控制臺(tái)和部署在每個(gè)抓取機(jī)器上的守護(hù)程序，他們通過(guò)互相通信來(lái)實(shí)現(xiàn)管理控制爬蟲節(jié)點(diǎn)的任務(wù)分配與負(fù)載平衡。守護(hù)程序監(jiān)視爬蟲節(jié)點(diǎn)運(yùn)行并解析普通爬蟲抓取的數(shù)據(jù)入庫(kù)。經(jīng)過(guò)實(shí)驗(yàn)測(cè)試分析，管理系統(tǒng)