基于HDFS的分布式存儲中負載均衡技術(shù)研究.pdf

1、在線教育模式的改變，導致了用戶量的急速增長和視頻資源的迅速增加，給存儲以及系統(tǒng)的整體性能帶來了考驗。如何合理的進行數(shù)據(jù)的存儲以及高效的給用戶返回所需的數(shù)據(jù)成為了問題的關(guān)鍵。分布式技術(shù)作為當前的熱門技術(shù)為以上問題提供了解決方案。其中的負載均衡算法是影響系統(tǒng)性能的關(guān)鍵算法。在對比分析了各種負載均衡算法之后，本課題將對其進行一些改進并最終設(shè)計并實現(xiàn)一個高效的分布式視頻存儲系統(tǒng)。
　　首先本課題針對處理視頻文件需要計算機各方面性能充分配合

2、的特性，設(shè)計了一種基于多指標的節(jié)點負載情況評價方程，并基于節(jié)點實時工作情況和該方程設(shè)計一個負載均衡算法，將能夠在視頻處理過程中起到作用的系統(tǒng)性能指標都經(jīng)過量化后加進算法。通過實驗表明，引入新的負載均衡算法后，能夠較大的提升分布式存儲系統(tǒng)的整體資源利用率，使系統(tǒng)各個節(jié)點達到更完美的均衡，并且同時能夠保證用戶端請求服務(wù)的質(zhì)量。除此之外，本課題還針對視頻文件如果經(jīng)常大規(guī)模轉(zhuǎn)移會帶來系統(tǒng)性能嚴重下降的問題，對其原有的延遲調(diào)度策略針對處理視頻文件

3、的特殊場景進行了一些改進，使其可以動態(tài)的調(diào)整等待時間。通過實驗表明，經(jīng)過改進后無論是系統(tǒng)整體性能還是作業(yè)的平均響應時間方面都有了較大的提升。
　　最終本課題設(shè)計并實現(xiàn)了一個基于Hadoop的分布式存儲系統(tǒng)，并且系統(tǒng)針對視頻文件的特性進行了改進，具有以下特點：1）在上傳視頻文件時，系統(tǒng)會根據(jù)節(jié)點實時的負載情況選擇最優(yōu)的節(jié)點來存儲數(shù)據(jù)，并且避免了節(jié)點的負載均衡操作對用戶請求服務(wù)質(zhì)量的影響。2）在用戶請求視頻文件時，系統(tǒng)會盡量保證數(shù)據(jù)的