面向eMule的主動式網(wǎng)絡爬蟲系統(tǒng)設計與實現(xiàn).pdf

1、伴隨著P2P技術的發(fā)展，P2P文件共享軟件利用豐富的P2P網(wǎng)絡的資源，實現(xiàn)了共享文件的快速定位、網(wǎng)絡備份以及高速下載，開創(chuàng)了文件共享的新時代。eMule作為當前全球最流行的P2P文件共享系統(tǒng)之一，它支持eDonkey2000網(wǎng)絡和Kad網(wǎng)絡網(wǎng)內(nèi)文件搜索，給網(wǎng)絡用戶下載多媒體內(nèi)容帶來了全新的體驗。同時，eMule網(wǎng)絡也成為了不良非法內(nèi)容傳播的溫床，嚴重影響了網(wǎng)絡應用環(huán)境，其分散隱秘的傳播方式，給世界各國網(wǎng)絡監(jiān)管部門帶來了很大挑戰(zhàn)。

2、　　 針對eMule網(wǎng)絡資源傳輸不易發(fā)現(xiàn)和不易定位的問題。根據(jù)eMule網(wǎng)絡結構及其資源傳播特點，本文設計并實現(xiàn)了面向eMule的主動式網(wǎng)絡爬蟲系統(tǒng)，以兩種方式采集eMule資源數(shù)據(jù)，為網(wǎng)絡安全監(jiān)管和網(wǎng)絡安全態(tài)勢的宏觀分析提供了數(shù)據(jù)基礎；該系統(tǒng)也為P2P網(wǎng)絡測量提供了一個很好的技術平臺。主要工作及成果如下：
　　 ①在web網(wǎng)絡傳播方面，設計并實現(xiàn)了web網(wǎng)頁爬蟲模塊：1)改進開源網(wǎng)絡爬蟲Heritrix的鏈接過濾功能，并引入

3、ELFhash算法優(yōu)化其URL隊列管理策略，通過測試驗證改進后抓取線程數(shù)和網(wǎng)頁采集速率有明顯提高。2)為避免傳統(tǒng)web網(wǎng)絡爬蟲的重復性問題，本文采用增量更新機制，有效提高采集網(wǎng)頁的質(zhì)量；實驗得出抓取網(wǎng)頁的平均查準率為95.5％，滿足項目需求。3)為深入web網(wǎng)頁中各單獨信息塊抽取eMule資源，結合自定義抽取規(guī)則，采用基于DOM樹的信息抽取方法，實驗表明信息抽取的平均準確率為97.8%，明顯高于同類系統(tǒng)。
　　 ②在eMule文

4、件共享系統(tǒng)傳播方面，主動式爬蟲系統(tǒng)中設計并實現(xiàn)了eMule網(wǎng)絡爬蟲模塊：1)采用主動測量的方法，設計基于eMule網(wǎng)絡中兩種不同協(xié)議的網(wǎng)絡爬蟲E-Crawler，多機并行處理，解決了傳統(tǒng)網(wǎng)絡爬蟲只測量單一協(xié)議網(wǎng)絡的問題。2)結合網(wǎng)絡音視頻傳播特點，為搜索特定熱度文件在eMule網(wǎng)絡中傳播情況，采用自動添加關鍵字搜索的方式，使E-Crawler爬行更加具有主動性。3)為了提高E-Crawler爬行速率，采用基于正反饋的爬行策略，優(yōu)先與大型