分布式文件傳輸系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、當(dāng)今社會(huì)，信息正以超乎人們想象的速度增長(zhǎng)，信息存儲(chǔ)系統(tǒng)的容量每?jī)赡?，有時(shí)甚至一年就會(huì)翻一番，增長(zhǎng)速度比處理器產(chǎn)業(yè)的摩爾定律還要快，由此引發(fā)的各種問(wèn)題也隨之而來(lái)。人們對(duì)信息數(shù)據(jù)日益廣泛的需求導(dǎo)致存儲(chǔ)系統(tǒng)的規(guī)模變得越來(lái)越龐大，管理越來(lái)越復(fù)雜，信息資源的爆炸性增長(zhǎng)和管理能力的相對(duì)不足之間的矛盾日益尖銳。同時(shí)，這種信息資源的高速增長(zhǎng)也對(duì)存儲(chǔ)系統(tǒng)的可靠性和擴(kuò)展性提出了挑戰(zhàn)，信息資源的共享也顯得越來(lái)越重要。
　　數(shù)據(jù)傳輸技術(shù)目前比較成熟的有網(wǎng)

2、格技術(shù)和P2P技術(shù)。網(wǎng)格技術(shù)側(cè)重于實(shí)現(xiàn)快速傳送存儲(chǔ)設(shè)備和并行機(jī)或大型計(jì)算機(jī)之間的龐大文件，P2P技術(shù)則側(cè)重于實(shí)現(xiàn)基于海量用戶之間的文件傳輸，而對(duì)支持海量分布存儲(chǔ)與負(fù)載平衡的應(yīng)用場(chǎng)景以上兩種應(yīng)用不能夠有效支撐。本文研究了基于HTTP協(xié)議的DFTS（Distributed File Transfer System，分布式文件傳輸系統(tǒng)）解決方案，以滿足企業(yè)在跨地域之間大數(shù)據(jù)量傳輸以及數(shù)據(jù)共享的需求。
　　通過(guò)本文的設(shè)計(jì)要達(dá)到四個(gè)目標(biāo)：高

3、性能和高質(zhì)量數(shù)據(jù)傳輸、數(shù)據(jù)傳輸狀態(tài)可控、與現(xiàn)有系統(tǒng)無(wú)縫集成、安全信息共享。在高性能和高質(zhì)量數(shù)據(jù)傳輸方面，通過(guò)自適應(yīng)傳輸策略(包括批量小文件數(shù)據(jù)整合傳輸、大文件多線程分塊并行傳輸)、數(shù)據(jù)流緩存機(jī)制、文件續(xù)傳機(jī)制、文件校驗(yàn)機(jī)制等關(guān)鍵技術(shù)，有效提升了廣域網(wǎng)數(shù)據(jù)的傳輸性能和傳輸效率；在數(shù)據(jù)傳輸狀態(tài)可控方面，通過(guò)任務(wù)狀態(tài)控制功能(包括啟動(dòng)任務(wù)、暫停任務(wù)、取消任務(wù)、任務(wù)優(yōu)先級(jí)設(shè)置等功能)、文件管理功能(包括文件夾創(chuàng)建，文件或目錄的內(nèi)容二進(jìn)制比對(duì)、刪

4、除、修改、遷移、訪問(wèn)權(quán)限設(shè)置等)實(shí)現(xiàn)了使用客戶端進(jìn)行文件傳輸和文件管理；在系統(tǒng)集成方面，使用sun的web-start技術(shù)和applet技術(shù)動(dòng)態(tài)加載邏輯參數(shù)實(shí)現(xiàn)與現(xiàn)有系統(tǒng)無(wú)縫集成；在安全信息共享方面，通過(guò)分布式站點(diǎn)設(shè)計(jì)以及支持SSL(Secure Sockets Layer)加密通道訪問(wèn)達(dá)到信息共享安全。
　　在此基礎(chǔ)之上，通過(guò)分布式存儲(chǔ)代理架構(gòu)的設(shè)計(jì)來(lái)減小高并發(fā)傳輸情況下系統(tǒng)I/O性能負(fù)載。實(shí)踐證明在高并發(fā)傳輸?shù)那闆r下系統(tǒng)表現(xiàn)良