面向微博數(shù)據(jù)挖掘的網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái),互聯(lián)網(wǎng)飛速發(fā)展,越來(lái)越多的人開(kāi)始在網(wǎng)上獲取信息和資源。尤其是微博這一形式的出現(xiàn),它為人們發(fā)表意見(jiàn)、交換看法、交流感情提供了便利。在這個(gè)平臺(tái)上,普通人的思想觀(guān)念得到了交流。于是源自于社會(huì)各層級(jí)的信息不斷集中,慢慢形成了一個(gè)龐大的信息倉(cāng)庫(kù)。
　　海量的信息,會(huì)將人們的視線(xiàn)籠罩在一個(gè)很小的局部中。人們迫切需要從整體的,全面的角度去了解微博平臺(tái)上的熱點(diǎn)更迭、情感變化、觀(guān)點(diǎn)碰撞等等方面的狀況,也就是了解輿情。目前已經(jīng)有不少針對(duì)微博的

2、數(shù)據(jù)挖掘工具出現(xiàn)。不過(guò),這些工具大多都是用于收集微博用戶(hù)的相關(guān)信息,不具有對(duì)微博內(nèi)容進(jìn)行詳細(xì)分析的功能。本系統(tǒng)的主要目的,就是針對(duì)微博的內(nèi)容進(jìn)行挖掘和分析,從中分析當(dāng)下的輿情熱點(diǎn),供使用者參考。
　　本系統(tǒng)主要分為三個(gè)部分,一是信息的收集,本系統(tǒng)使用多線(xiàn)程廣度優(yōu)先網(wǎng)絡(luò)爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)絡(luò)收集信息,獲取微博網(wǎng)站的主要頁(yè)面,在頁(yè)面上獲取內(nèi)容。二是信息的分析,信息獲取完之后,就要利用Lucene建立索引,提取關(guān)鍵詞,并利用貝葉斯分類(lèi)器在一定程度