基于主題的微博網(wǎng)頁爬蟲研究.pdf

1、隨著美國twitter的火熱，國內(nèi)各大微博網(wǎng)站興起，微博在網(wǎng)民中日益火熱。在微博中誕生的各種網(wǎng)絡(luò)熱詞也迅速走紅網(wǎng)絡(luò)，微博效應(yīng)正在逐漸形成，微博成為中國網(wǎng)民上網(wǎng)的主要活動(dòng)之一。正是由于微博效應(yīng)的形成，微博話題在網(wǎng)民之間迅速傳遞。對(duì)于微博信息的獲取以及分析，成為重要的研究對(duì)象。為方便微博數(shù)據(jù)的獲取，各大網(wǎng)站微博也相繼提供了抓取微博的API，但這些API都有訪問次數(shù)的限制，無法滿足獲取大量微博數(shù)據(jù)的要求，同時(shí)抓取的數(shù)據(jù)往往很雜亂。針對(duì)上述問題

2、，本文引入網(wǎng)頁頁面分析技術(shù)和主題相關(guān)性分析技術(shù)，展開基于主題的微博網(wǎng)頁爬蟲的研究與設(shè)計(jì)。
　　本文的主要工作有研究分析網(wǎng)頁頁面分析技術(shù)，根據(jù)微博頁面特點(diǎn)選擇微博頁面信息獲取方法；重點(diǎn)描述基于“剪枝”的廣度優(yōu)先搜索策略的思考以及設(shè)計(jì)的詳細(xì)過程，著重解決URL的去重、URL地址集合動(dòng)態(tài)變化等問題；研究分析短文本主題抽取技術(shù)以及多關(guān)鍵匹配技術(shù)，確定微博主題相關(guān)性分析的設(shè)計(jì)方案；最后設(shè)計(jì)實(shí)現(xiàn)基于主題的微博網(wǎng)頁爬蟲的原型系統(tǒng)，實(shí)時(shí)抓取和存儲(chǔ)

3、微博數(shù)據(jù)。本文研究的核心問題是，根據(jù)微博數(shù)據(jù)的特點(diǎn)設(shè)計(jì)一種基于“剪枝”的廣度優(yōu)先搜索策略，并將其應(yīng)用到微博爬蟲中；同時(shí)使用微博頁面分析技術(shù)使得爬蟲不受微博平臺(tái)API限制，從而讓用戶盡可能準(zhǔn)確地抓取主題相關(guān)的微博數(shù)據(jù)。
　　通過多次反復(fù)實(shí)驗(yàn)獲取原型系統(tǒng)實(shí)驗(yàn)結(jié)果，將實(shí)驗(yàn)結(jié)果同基于API微博爬蟲和基于網(wǎng)頁微博爬蟲的抓取效果進(jìn)行對(duì)比分析得出結(jié)論：本文提出的爬行策略能夠抓取主題相關(guān)的微博數(shù)據(jù)，雖然在效率上有所降低，但在抓取的微博數(shù)據(jù)具有較好