基于頁(yè)面預(yù)判的微博采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、當(dāng)今社會(huì)正處于一個(gè)信息爆炸的時(shí)代，網(wǎng)絡(luò)信息飛速發(fā)展，人們可以隨時(shí)隨地的發(fā)表網(wǎng)絡(luò)消息，顯而易見網(wǎng)絡(luò)已經(jīng)和我們的生活交融在一起，并影響著我們的生活改變著我們的生活方式。網(wǎng)上繁雜的信息又以微博傳播最為迅捷，怎樣才能實(shí)時(shí)準(zhǔn)確的撲捉到微博的信息，成為人們所面臨的一大難題。因此，對(duì)網(wǎng)絡(luò)上微博信息的監(jiān)控、采集、預(yù)處理以及相關(guān)的信息收集已成為當(dāng)今信息處理界研究的熱點(diǎn)。
　　本文學(xué)習(xí)并分析了國(guó)內(nèi)外先進(jìn)的微博采集系統(tǒng)，通過大量的學(xué)術(shù)文章研究了并測(cè)試了

2、關(guān)于微博采集的相關(guān)技術(shù)，其中包括頁(yè)面去噪技術(shù)、網(wǎng)頁(yè)預(yù)判處理、爬蟲技術(shù)、正規(guī)化處理、正則表達(dá)式等技術(shù)。本文開發(fā)了一個(gè)基于預(yù)判的微博微博信息采集系統(tǒng)，該微博采集系統(tǒng)基于C＃語(yǔ)言，SqlServer2005數(shù)據(jù)庫(kù)，可采集的頻道有新浪娛樂、新浪體育、新浪爆料、新浪文學(xué)、新浪電影和新浪情感。與它單一的微博信息采集系統(tǒng)相比，本系統(tǒng)有顯著的有點(diǎn)，它可以按照用戶的要求按主題進(jìn)行模糊查詢并進(jìn)行批量采集，這樣就使得系統(tǒng)不僅僅局限于對(duì)添加的頻道的采集。本系統(tǒng)

3、開發(fā)使用的是SqlServer2005數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)名為Microblogtag，主要的數(shù)據(jù)庫(kù)表有：microblogs表、microblogstxt表、microblogsback表和Adminstate表。
　　本系統(tǒng)主要開發(fā)為四個(gè)模塊分別為系統(tǒng)登錄界面、數(shù)據(jù)頻道采集模塊、數(shù)據(jù)主題采集模塊、數(shù)據(jù)導(dǎo)入導(dǎo)出模塊。本文詳細(xì)闡述了微博頻道采集模塊、數(shù)據(jù)主題采集模塊和導(dǎo)入導(dǎo)出模塊的設(shè)計(jì)和實(shí)現(xiàn)。本系統(tǒng)的核心為頻道采集模塊和主題采集模塊，兩