Linux多協(xié)議多線程下載技術(shù)的研究與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)文件下載(Network file download),其發(fā)展過程經(jīng)歷了HTTP、FTP多線程文件下載、P2P多源文件下載以及支持多種協(xié)議的多源多線程文件下載三個(gè)階段。盡管Linux系統(tǒng)的下載工具簡潔、高速、移植性強(qiáng),但也存在著命令行操作相對不便,支持協(xié)議種類不多等缺陷,能同時(shí)支持HTTP、FTP、BitTorrent三種常見協(xié)議的下載工具更是稀少。因此,本文針對當(dāng)前Linux下載工具存在的不足,主要完成如下幾個(gè)方面的工作:

2、　　 1)對比當(dāng)前Linux主要下載工具的優(yōu)缺點(diǎn),詳細(xì)分析了HTTP、FTP、BitTorrent協(xié)議的工作原理、實(shí)現(xiàn)方法以及Linux多線程編程技術(shù)。
　　 2)針對隨機(jī)鄰居節(jié)點(diǎn)選擇策略的缺陷,提出BitTorrent協(xié)議實(shí)現(xiàn)的鄰居節(jié)點(diǎn)選擇策略的改進(jìn)算法。該算法既充分利用了鄰居節(jié)點(diǎn)帶寬,又最大限度地保證了從鄰居節(jié)點(diǎn)處獲得新文件片段的概率,提高了系統(tǒng)文件的交換速率。
　　 3)針對BitTorrent實(shí)現(xiàn)的激勵機(jī)制無法

3、在大量種子節(jié)點(diǎn)存在的網(wǎng)絡(luò)中抑制貪婪節(jié)點(diǎn)搭便車行為的缺陷,提出根據(jù)節(jié)點(diǎn)貢獻(xiàn)量分配種子上載帶寬的分配機(jī)制。該機(jī)制能優(yōu)化種子帶寬的合理分配,有效地抑制貪婪節(jié)點(diǎn)搭便車行為的產(chǎn)生,縮短貢獻(xiàn)節(jié)點(diǎn)的平均下載時(shí)間,提高系統(tǒng)運(yùn)行的公正性。
　　 4)針對大量節(jié)點(diǎn)頻繁的更新操作對Tracker服務(wù)器造成的負(fù)載過重以及隨機(jī)選擇連接節(jié)點(diǎn)造成的帶寬損耗等缺陷,本文基于Cluster拓?fù)淠Ｐ?提出基于鄰居節(jié)點(diǎn)聚簇的文件分發(fā)系統(tǒng)模型,并給出節(jié)點(diǎn)加入策略、超級

4、節(jié)點(diǎn)選擇策略、節(jié)點(diǎn)離線策略的具體實(shí)現(xiàn)方法。
　　 5)結(jié)合本文對于協(xié)議實(shí)現(xiàn)方法的改進(jìn),構(gòu)建了一種能同時(shí)支持HTTP、FTP、BitTorrent三種協(xié)議的基于命令行操作的多線程下載工具。其中,對于HTTP／FTP下載,詳細(xì)描述了文件分塊、斷點(diǎn)續(xù)傳與多線程同步的實(shí)現(xiàn)；對于BitTorrent下載,重點(diǎn)描述了種子解析模塊、策略選擇模塊以及peer管理模塊的實(shí)現(xiàn)。
　　 在系統(tǒng)測試中,通過對比wget、d4x、lftp、bit