基于Groovy的分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Internet的發(fā)展壯大,人們獲取信息的途徑逐漸被網(wǎng)絡(luò)所替代,同時(shí)網(wǎng)絡(luò)信息的增長(zhǎng)也達(dá)到了驚人的速度。在實(shí)際應(yīng)用中,用戶往往有著自己的瀏覽習(xí)慣及特定的主題敏感性,通用網(wǎng)絡(luò)爬蟲(chóng)難免無(wú)法滿足類似個(gè)性化的信息收集需要,現(xiàn)有的主題爬蟲(chóng)也有著種種弊端。
　　 論文通過(guò)分析總結(jié)主題頁(yè)面在Web上的分布特征,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)Windows環(huán)境下的分布式的可定制主題爬蟲(chóng)系統(tǒng)CTCS(Customizabletopiccrawlersyste

2、m)。
　　 論文闡述了CTCS系統(tǒng)的工作環(huán)境、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、子系統(tǒng)及其功能模塊和工作流程,以及各了系統(tǒng)間通信接口的設(shè)計(jì),對(duì)CTCS系統(tǒng)的各子系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)都進(jìn)行了洋細(xì)的淪述,包括大量的系統(tǒng)難點(diǎn)分析及解決方案。論文詳細(xì)說(shuō)明了CTCS系統(tǒng)實(shí)現(xiàn)中的一些特點(diǎn):(1)在人工定制的過(guò)程中,拋棄了傳統(tǒng)的純數(shù)據(jù)項(xiàng)配置文件,將Groovy腳本引入配置,使得邏輯表達(dá)可出現(xiàn)在配置中,提高了配置的靈活性以及爬蟲(chóng)抓取數(shù)據(jù)的精度和速度。(2)利用基于H

3、TTP協(xié)議網(wǎng)絡(luò)通信下的客戶端狀態(tài)保持方式,實(shí)現(xiàn)了持有狀態(tài)的HTTPClient組件,很大程度上滿足了對(duì)DeepWeb數(shù)據(jù)抓取的要求。(3)使用JavaRMI(Remotemethodinvocation)構(gòu)建了一整套靈活的分布式解決方案,此方案不僅僅支持爬蟲(chóng)系統(tǒng),還可通過(guò)配置作為其它分布式業(yè)務(wù)的解決方案。(4)系統(tǒng)中引入日志中心的概念,將日志匯總并開(kāi)發(fā)預(yù)警功能,極大的方便了系統(tǒng)的開(kāi)發(fā)和維護(hù)。
　　 論文的最后,對(duì)系統(tǒng)的運(yùn)行效果進(jìn)