基于主題的微博網(wǎng)頁爬蟲研究

1、分類號密級UDC學(xué)校代碼10497學(xué)位論學(xué)位論文題目基于主題的微博網(wǎng)頁爬蟲研究英文題目Researchontopicbasedmicroblogwebcrawler研究生姓名曾小虎姓名楊青職稱教授學(xué)位碩士單位名稱計算機(jī)科學(xué)與技術(shù)學(xué)院郵編430063申請學(xué)位級別碩士學(xué)科專業(yè)名稱計算機(jī)應(yīng)用技術(shù)論文提交日期2014年4月論文答辯日期2014年5月學(xué)位授予單位武漢理工大學(xué)學(xué)位授予日期答辯委員會主席評閱人評閱人2014年5月指導(dǎo)教師萬方數(shù)據(jù)武漢理

2、工大學(xué)碩士學(xué)位論文I摘要隨著美國twitter的火熱，國內(nèi)各大微博網(wǎng)站興起，微博在網(wǎng)民中日益火熱。在微博中誕生的各種網(wǎng)絡(luò)熱詞也迅速走紅網(wǎng)絡(luò)，微博效應(yīng)正在逐漸形成，微博成為中國網(wǎng)民上網(wǎng)的主要活動之一。正是由于微博效應(yīng)的形成，微博話題在網(wǎng)民之間迅速傳遞。對于微博信息的獲取以及分析，成為重要的研究對象。為方便微博數(shù)據(jù)的獲取，各大網(wǎng)站微博也相繼提供了抓取微博的API，但這些API都有訪問次數(shù)的限制，無法滿足獲取大量微博數(shù)據(jù)的要求，同時抓取的數(shù)據(jù)

3、往往很雜亂。針對上述問題，本文引入網(wǎng)頁頁面分析技術(shù)和主題相關(guān)性分析技術(shù)，展開基于主題的微博網(wǎng)頁爬蟲的研究與設(shè)計。本文的主要工作有研究分析網(wǎng)頁頁面分析技術(shù)，根據(jù)微博頁面特點選擇微博頁面信息獲取方法；重點描述基于“剪枝”的廣度優(yōu)先搜索策略的思考以及設(shè)計的詳細(xì)過程，著重解決URL的去重、URL地址集合動態(tài)變化等問題；研究分析短文本主題抽取技術(shù)以及多關(guān)鍵匹配技術(shù)，確定微博主題相關(guān)性分析的設(shè)計方案；最后設(shè)計實現(xiàn)基于主題的微博網(wǎng)頁爬蟲的原型系統(tǒng)，實

4、時抓取和存儲微博數(shù)據(jù)。本文研究的核心問題是，根據(jù)微博數(shù)據(jù)的特點設(shè)計一種基于“剪枝”的廣度優(yōu)先搜索策略，并將其應(yīng)用到微博爬蟲中；同時使用微博頁面分析技術(shù)使得爬蟲不受微博平臺API限制，從而讓用戶盡可能準(zhǔn)確地抓取主題相關(guān)的微博數(shù)據(jù)。通過多次反復(fù)實驗獲取原型系統(tǒng)實驗結(jié)果，將實驗結(jié)果同基于API微博爬蟲和基于網(wǎng)頁微博爬蟲的抓取效果進(jìn)行對比分析得出結(jié)論：本文提出的爬行策略能夠抓取主題相關(guān)的微博數(shù)據(jù)，雖然在效率上有所降低，但在抓取的微博數(shù)據(jù)具有較好