面向微博的主題爬蟲設(shè)計(jì)與實(shí)現(xiàn).pdf

1、　　Internet 的高速發(fā)展使得互聯(lián)網(wǎng)逐漸滲透到人們的日常生活中，對(duì)社會(huì)的方方面面產(chǎn)生了深遠(yuǎn)的影響。權(quán)威機(jī)構(gòu)的調(diào)查顯示，互聯(lián)網(wǎng)用戶數(shù)量每年都在飛速遞增，并且中國的網(wǎng)民數(shù)量已經(jīng)位居全球第一?；ヂ?lián)網(wǎng)用戶可以在Web 上暢所欲言，相互交流，因此互聯(lián)網(wǎng)已經(jīng)成為虛擬“公共話語空間”，是公眾都能參與的新興公共輿論平臺(tái)。
　　隨著互聯(lián)網(wǎng)的迅速發(fā)展，微博己經(jīng)發(fā)展成為包含多種信息資源、站點(diǎn)分布全球的海量信息服務(wù)網(wǎng)絡(luò)。微博爬蟲是一種用于幫助互

2、聯(lián)網(wǎng)用戶查詢信息的搜索工具，它以一定的策略在微博中搜集、發(fā)現(xiàn)信息，對(duì)信息進(jìn)行理解、提取、組織和處理，并為用戶提供檢索服務(wù)和信息導(dǎo)航。
　　本課題的主要目的是設(shè)計(jì)面向微博的主題爬蟲程序，同時(shí)需要滿足性能和功能要求，考慮到微博爬蟲的不同需求，微博爬蟲應(yīng)用寬度搜索技術(shù)，對(duì)URL進(jìn)行分析，去重。微博爬蟲的實(shí)現(xiàn)使用多線程技術(shù)，使爬蟲具備更好的的抓取性能，并對(duì)網(wǎng)絡(luò)爬蟲的連接網(wǎng)絡(luò)設(shè)置連接及讀取時(shí)間進(jìn)行設(shè)定，避免無限制的等待。為了適應(yīng)不同需求