面向微博用戶行為數(shù)據(jù)挖掘的爬蟲系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，大部分用戶逐漸習(xí)慣于網(wǎng)絡(luò)社交，因此社交平臺（微博）已成為信息交流和傳播的一個重要途徑。爬蟲技術(shù)能從社交平臺上爬取大量真實用戶留下的信息數(shù)據(jù)，數(shù)據(jù)挖掘技術(shù)能從這些大量的用戶數(shù)據(jù)中分析出隱藏信息。利用這兩項技術(shù)，能使企業(yè)挖掘出用戶需求和為相關(guān)機構(gòu)提供監(jiān)控輿論理論基礎(chǔ)。
　　本文以國內(nèi)用戶量龐大的社交平臺新浪微博作為研究對象，對如何構(gòu)建一個搞笑的爬蟲系統(tǒng)做了深入研究，并使用主題模型對抓取的數(shù)據(jù)進(jìn)行了簡單的數(shù)據(jù)挖掘。

2、本文開始首先介紹了用到的相關(guān)技術(shù)知識，這些知識對后續(xù)的研究實踐非常重要。之后通過詳細(xì)的需求分析將爬蟲模塊解耦為幾個模塊，每個模塊獨立運行，這樣也方便部署在任何網(wǎng)絡(luò)聯(lián)通的環(huán)境下運行，通過使用這種方式可以動態(tài)地添加數(shù)據(jù)采集器，兩個分布在不同機器上的采集器通過調(diào)度器能同時采集同種數(shù)據(jù)。從微博平臺上定向地采集大量數(shù)據(jù)之后，使用中文分詞技術(shù)將每個用戶發(fā)布的所有微博進(jìn)行分詞，使用TF_IDF技術(shù)從中提取出權(quán)重最大的350各單詞來形成一個用戶文檔，再