高性能數(shù)據(jù)傳輸系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著云計(jì)算技術(shù)，大數(shù)據(jù)技術(shù)，并行計(jì)算技術(shù)等新興課題和研究方向的興起。傳統(tǒng)的軟件和互聯(lián)網(wǎng)行業(yè)正產(chǎn)生著深刻的變革。在需求上，社交網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)，商業(yè)網(wǎng)站產(chǎn)生的商業(yè)數(shù)據(jù)，科學(xué)研究產(chǎn)生的科研數(shù)據(jù)，都以不可思議的速度飛速膨脹著。在存儲(chǔ)這些數(shù)據(jù)上，分布式存儲(chǔ)，大數(shù)據(jù)存儲(chǔ)，面臨的將是TB甚至PB級別的數(shù)據(jù)。在數(shù)據(jù)的計(jì)算上，分布式計(jì)算，并行計(jì)算將是應(yīng)對大數(shù)據(jù)的常規(guī)武器。而介于存儲(chǔ)和計(jì)算之間，數(shù)據(jù)傳輸方式的發(fā)展也應(yīng)該齊頭并進(jìn)。高效，可靠，可擴(kuò)展是數(shù)據(jù)傳輸

2、的必然需求。
　　對高性能數(shù)據(jù)傳輸系統(tǒng)的研究從相關(guān)技術(shù)的背景開始，首先介紹了相關(guān)技術(shù)的發(fā)展趨勢，指出大數(shù)據(jù)技術(shù)是未來互聯(lián)網(wǎng)行業(yè)的發(fā)展趨勢。同時(shí)介紹了整個(gè)大數(shù)據(jù)和云計(jì)算平臺(tái)產(chǎn)業(yè)的最新技術(shù)的發(fā)展現(xiàn)狀。在此基礎(chǔ)之上，指出大數(shù)據(jù)傳輸技術(shù)的發(fā)展滯后于大數(shù)據(jù)存儲(chǔ)及分析技術(shù)的發(fā)展。由此問題出發(fā)，提出了設(shè)計(jì)一種高性能數(shù)據(jù)傳輸系統(tǒng)必須解決高性能，高可靠性，高擴(kuò)展性的需求。在確定需求的同時(shí)，介紹了相關(guān)數(shù)據(jù)傳輸系統(tǒng)所必須掌握的相關(guān)技術(shù)。例如大數(shù)據(jù)存儲(chǔ)技

3、術(shù)，并行計(jì)算框架技術(shù)，對象序列化技術(shù)，塊式傳輸技術(shù)，流式傳輸技術(shù)等等。由此，提出了高性能數(shù)據(jù)傳輸系統(tǒng)的設(shè)計(jì)。包括系統(tǒng)的輸入輸出設(shè)計(jì)，系統(tǒng)部署方式的設(shè)計(jì)，系統(tǒng)數(shù)據(jù)通信模塊的模塊設(shè)計(jì)，系統(tǒng)數(shù)據(jù)持久化模塊的設(shè)計(jì)，系統(tǒng)任務(wù)管理模塊設(shè)計(jì)，用戶界面設(shè)計(jì)等。在設(shè)計(jì)完成之后，針對每一個(gè)相關(guān)功能模塊，展示了各個(gè)模塊的邏輯圖和相關(guān)代碼。最后，驗(yàn)證了相關(guān)數(shù)據(jù)傳輸系統(tǒng)在工作中的高效性，可靠性，以及可擴(kuò)展性。本文中還會(huì)有專門的章節(jié)對系統(tǒng)正確性以及效率進(jìn)行了測試。