Hadoop平臺性能優(yōu)化的研究與實現(xiàn).pdf

1、如何更好地管理數(shù)據(jù)并挖掘其中的價值，已經(jīng)成為了大數(shù)據(jù)時代的熱門問題，受到了學術(shù)界和工業(yè)界的極大關注，同時涌現(xiàn)出了很多開源的工具，如Hadoop、Kafka、0penstack、Zookeeper等，這些工具極大地降低了大數(shù)據(jù)的進入門檻，使得很多組織都有能力來分享大數(shù)據(jù)時代的果實，同時遍布全世界的開發(fā)者和使用者的反饋也極大地促進了這些開源軟件的發(fā)展。作為這些開源工具的鼻祖，以及同時包括存儲系統(tǒng)和計算系統(tǒng)，Hadoop已經(jīng)成為了大數(shù)據(jù)處理平

2、臺的基石之一，其性能的優(yōu)化是當前一個熱點研究問題。
　　針對Hadoop自帶的調(diào)度器不能有效支持實時作業(yè)、無法滿足用戶對自身作業(yè)資源使用限制的需求以及Apache Slider提供的接口不夠友好等不足，本文首先通過研究實時作業(yè)的特性，同時結(jié)合Hadoop調(diào)度的特性，設計了三種實時調(diào)度器:LSS(LeastSpare-time Scheduler)、SPS(Shortest Period Scheduler)、MUS(Maximum

3、 UrgencyScheduler)。其核心是通過修改作業(yè)隊列里面作業(yè)的優(yōu)先級排序算法，讓更多作業(yè)能在截止期前完成。其中LSS調(diào)度器的核心是預測作業(yè)的空閑時間，采用空閑時間越小，作業(yè)的優(yōu)先級越高的調(diào)度策略。SPS調(diào)度器針對多個周期性工作流，采用了周期越短的工作流上作業(yè)的優(yōu)先級越高的調(diào)度策略。MUS調(diào)度器用截止時間描述作業(yè)的優(yōu)先級，采用截止時間越短優(yōu)先級越高的調(diào)度策略。經(jīng)過實驗驗證，這三種調(diào)度器都能很好地滿足實時性作業(yè)的服務質(zhì)量需求。其次

4、，對Hadoop內(nèi)核中的MapReduce應用管理器（MapReduce Application Master，MRAM）進行修改，通過其向資源管理器(ResourceManager，RM)申請資源時，根據(jù)用戶指定的并發(fā)性限制申請的資源量，使得作業(yè)獲取的資源量最大不會超過限制的資源量，從而達到限制作業(yè)并發(fā)性的個性化需求。經(jīng)過實驗驗證，該特性能很好地滿足用戶對作業(yè)并發(fā)性限制的服務質(zhì)量需求。最后，通過分析Apache Slider，發(fā)現(xiàn)其提