面向eMule的主動式網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計與實現(xiàn).pdf

1、伴隨著P2P技術(shù)的發(fā)展，P2P文件共享軟件利用豐富的P2P網(wǎng)絡(luò)的資源，實現(xiàn)了共享文件的快速定位、網(wǎng)絡(luò)備份以及高速下載，開創(chuàng)了文件共享的新時代。eMule作為當(dāng)前全球最流行的P2P文件共享系統(tǒng)之一，它支持eDonkey2000網(wǎng)絡(luò)和Kad網(wǎng)絡(luò)網(wǎng)內(nèi)文件搜索，給網(wǎng)絡(luò)用戶下載多媒體內(nèi)容帶來了全新的體驗。同時，eMule網(wǎng)絡(luò)也成為了不良非法內(nèi)容傳播的溫床，嚴(yán)重影響了網(wǎng)絡(luò)應(yīng)用環(huán)境，其分散隱秘的傳播方式，給世界各國網(wǎng)絡(luò)監(jiān)管部門帶來了很大挑戰(zhàn)。

2、　　 針對eMule網(wǎng)絡(luò)資源傳輸不易發(fā)現(xiàn)和不易定位的問題。根據(jù)eMule網(wǎng)絡(luò)結(jié)構(gòu)及其資源傳播特點(diǎn)，本文設(shè)計并實現(xiàn)了面向eMule的主動式網(wǎng)絡(luò)爬蟲系統(tǒng)，以兩種方式采集eMule資源數(shù)據(jù)，為網(wǎng)絡(luò)安全監(jiān)管和網(wǎng)絡(luò)安全態(tài)勢的宏觀分析提供了數(shù)據(jù)基礎(chǔ)；該系統(tǒng)也為P2P網(wǎng)絡(luò)測量提供了一個很好的技術(shù)平臺。主要工作及成果如下：
　　 ①在web網(wǎng)絡(luò)傳播方面，設(shè)計并實現(xiàn)了web網(wǎng)頁爬蟲模塊：1)改進(jìn)開源網(wǎng)絡(luò)爬蟲Heritrix的鏈接過濾功能，并引入

3、ELFhash算法優(yōu)化其URL隊列管理策略，通過測試驗證改進(jìn)后抓取線程數(shù)和網(wǎng)頁采集速率有明顯提高。2)為避免傳統(tǒng)web網(wǎng)絡(luò)爬蟲的重復(fù)性問題，本文采用增量更新機(jī)制，有效提高采集網(wǎng)頁的質(zhì)量；實驗得出抓取網(wǎng)頁的平均查準(zhǔn)率為95.5％，滿足項目需求。3)為深入web網(wǎng)頁中各單獨(dú)信息塊抽取eMule資源，結(jié)合自定義抽取規(guī)則，采用基于DOM樹的信息抽取方法，實驗表明信息抽取的平均準(zhǔn)確率為97.8%，明顯高于同類系統(tǒng)。
　　 ②在eMule文

4、件共享系統(tǒng)傳播方面，主動式爬蟲系統(tǒng)中設(shè)計并實現(xiàn)了eMule網(wǎng)絡(luò)爬蟲模塊：1)采用主動測量的方法，設(shè)計基于eMule網(wǎng)絡(luò)中兩種不同協(xié)議的網(wǎng)絡(luò)爬蟲E-Crawler，多機(jī)并行處理，解決了傳統(tǒng)網(wǎng)絡(luò)爬蟲只測量單一協(xié)議網(wǎng)絡(luò)的問題。2)結(jié)合網(wǎng)絡(luò)音視頻傳播特點(diǎn)，為搜索特定熱度文件在eMule網(wǎng)絡(luò)中傳播情況，采用自動添加關(guān)鍵字搜索的方式，使E-Crawler爬行更加具有主動性。3)為了提高E-Crawler爬行速率，采用基于正反饋的爬行策略，優(yōu)先與大型