校園BBS可定制爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)在我國(guó)的日益普及,對(duì)于樂(lè)于接受新鮮事物的青年大學(xué)生來(lái)說(shuō),網(wǎng)絡(luò)幾乎已經(jīng)成為和衣食住行一樣的“生活必需品”。與此同時(shí),校園論壇也成為了學(xué)生們交流和表達(dá)意見(jiàn)的主要平臺(tái)。為了及時(shí)的了解校園內(nèi)的關(guān)注熱點(diǎn),校園網(wǎng)絡(luò)信息管理系統(tǒng)的引用是非常有意義的。本文設(shè)計(jì)與實(shí)現(xiàn)的論壇爬蟲(chóng)系統(tǒng)是該系統(tǒng)的子系統(tǒng),負(fù)責(zé)論壇數(shù)據(jù)的采集,為校園網(wǎng)絡(luò)信息管理系統(tǒng)后續(xù)的數(shù)據(jù)分析提供數(shù)據(jù)源。
　　傳統(tǒng)的通用爬蟲(chóng)在爬取論壇時(shí)會(huì)遇到大量重復(fù)的鏈接,浪費(fèi)資源而且效率低下;

2、另一方面,已有的一些面向論壇的爬蟲(chóng)是為特定的用戶量身打造的,僅作用于單個(gè)論壇。本文分析了多種論壇在結(jié)構(gòu)上的差異,研究了現(xiàn)有的幾種主流爬蟲(chóng)的工作特點(diǎn)和系統(tǒng)架構(gòu),提出了一個(gè)能夠適應(yīng)不同論壇的增量爬蟲(chóng)實(shí)現(xiàn)方案。并經(jīng)過(guò)分析系統(tǒng)的需求,設(shè)計(jì)各個(gè)分模塊,詳細(xì)闡述各模塊的具體實(shí)現(xiàn)細(xì)節(jié)。本文的主要工作包括:首先分析各論壇特點(diǎn),抽取共性,剝離不同點(diǎn),對(duì)不同風(fēng)格的論壇確定爬取措施;其次根據(jù)板塊的熱度和論壇的特點(diǎn),制定基于板塊權(quán)重的增量爬取策略;最后,為了提