BitTorrent種子文件獲取技術(shù)研究與實(shí)現(xiàn).pdf

1、BitTorrent(簡(jiǎn)稱BT)作為一種高效的P2P文件共享協(xié)議為越來(lái)越多的人所使用和關(guān)注，也成為學(xué)術(shù)界研究的熱點(diǎn)。目前的BT發(fā)布站點(diǎn)或搜索引擎在效率、全面性、安全性上存在著或多或少的不足。為此，本文提出了對(duì)BT種子文件獲取技術(shù)的研究，實(shí)現(xiàn)一個(gè)快速、全面的BT種子爬蟲(chóng)系統(tǒng)，為設(shè)計(jì)方便用戶使用的BT搜索引擎和為基于種子文件的BT網(wǎng)絡(luò)行為分析和BT數(shù)據(jù)挖掘等提供數(shù)據(jù)來(lái)源。
　　本文通過(guò)分析當(dāng)前面向BT種子文件獲取的聚焦爬蟲(chóng)面臨的問(wèn)題，

2、從提高系統(tǒng)獲取效率、提高爬蟲(chóng)爬全率的角度出發(fā)，提出了基于正則表達(dá)式規(guī)則的URL過(guò)濾技術(shù)、基于Hash的種子文件去重機(jī)制，解決了爬蟲(chóng)的自動(dòng)登錄和AJAX網(wǎng)頁(yè)的解析這兩個(gè)傳統(tǒng)爬蟲(chóng)在 BT種子文件獲取這種面向主題應(yīng)用中存在的難題。為了降低爬蟲(chóng)獲取種子延時(shí)，改進(jìn)了現(xiàn)有的數(shù)據(jù)抓取和數(shù)據(jù)更新機(jī)制，提出了新的URL爬行任務(wù)選擇策略和動(dòng)態(tài)任務(wù)調(diào)整策略。對(duì)每一種技術(shù)和方法進(jìn)行了分析和實(shí)驗(yàn)驗(yàn)證，這些技術(shù)不僅適用于BT種子文件獲取，也適用于通用爬蟲(chóng)和面向其他