Linux多協(xié)議多線程下載技術(shù)的研究與實現(xiàn).pdf

1、網(wǎng)絡文件下載(Network file download),其發(fā)展過程經(jīng)歷了HTTP、FTP多線程文件下載、P2P多源文件下載以及支持多種協(xié)議的多源多線程文件下載三個階段。盡管Linux系統(tǒng)的下載工具簡潔、高速、移植性強,但也存在著命令行操作相對不便,支持協(xié)議種類不多等缺陷,能同時支持HTTP、FTP、BitTorrent三種常見協(xié)議的下載工具更是稀少。因此,本文針對當前Linux下載工具存在的不足,主要完成如下幾個方面的工作:

2、　　 1)對比當前Linux主要下載工具的優(yōu)缺點,詳細分析了HTTP、FTP、BitTorrent協(xié)議的工作原理、實現(xiàn)方法以及Linux多線程編程技術(shù)。
　　 2)針對隨機鄰居節(jié)點選擇策略的缺陷,提出BitTorrent協(xié)議實現(xiàn)的鄰居節(jié)點選擇策略的改進算法。該算法既充分利用了鄰居節(jié)點帶寬,又最大限度地保證了從鄰居節(jié)點處獲得新文件片段的概率,提高了系統(tǒng)文件的交換速率。
　　 3)針對BitTorrent實現(xiàn)的激勵機制無法

3、在大量種子節(jié)點存在的網(wǎng)絡中抑制貪婪節(jié)點搭便車行為的缺陷,提出根據(jù)節(jié)點貢獻量分配種子上載帶寬的分配機制。該機制能優(yōu)化種子帶寬的合理分配,有效地抑制貪婪節(jié)點搭便車行為的產(chǎn)生,縮短貢獻節(jié)點的平均下載時間,提高系統(tǒng)運行的公正性。
　　 4)針對大量節(jié)點頻繁的更新操作對Tracker服務器造成的負載過重以及隨機選擇連接節(jié)點造成的帶寬損耗等缺陷,本文基于Cluster拓撲模型,提出基于鄰居節(jié)點聚簇的文件分發(fā)系統(tǒng)模型,并給出節(jié)點加入策略、超級

4、節(jié)點選擇策略、節(jié)點離線策略的具體實現(xiàn)方法。
　　 5)結(jié)合本文對于協(xié)議實現(xiàn)方法的改進,構(gòu)建了一種能同時支持HTTP、FTP、BitTorrent三種協(xié)議的基于命令行操作的多線程下載工具。其中,對于HTTP／FTP下載,詳細描述了文件分塊、斷點續(xù)傳與多線程同步的實現(xiàn)；對于BitTorrent下載,重點描述了種子解析模塊、策略選擇模塊以及peer管理模塊的實現(xiàn)。
　　 在系統(tǒng)測試中,通過對比wget、d4x、lftp、bit