Hadoop平臺性能優(yōu)化的研究與實(shí)現(xiàn).pdf

1、如何更好地管理數(shù)據(jù)并挖掘其中的價值，已經(jīng)成為了大數(shù)據(jù)時代的熱門問題，受到了學(xué)術(shù)界和工業(yè)界的極大關(guān)注，同時涌現(xiàn)出了很多開源的工具，如Hadoop、Kafka、0penstack、Zookeeper等，這些工具極大地降低了大數(shù)據(jù)的進(jìn)入門檻，使得很多組織都有能力來分享大數(shù)據(jù)時代的果實(shí)，同時遍布全世界的開發(fā)者和使用者的反饋也極大地促進(jìn)了這些開源軟件的發(fā)展。作為這些開源工具的鼻祖，以及同時包括存儲系統(tǒng)和計(jì)算系統(tǒng)，Hadoop已經(jīng)成為了大數(shù)據(jù)處理平

2、臺的基石之一，其性能的優(yōu)化是當(dāng)前一個熱點(diǎn)研究問題。
　　針對Hadoop自帶的調(diào)度器不能有效支持實(shí)時作業(yè)、無法滿足用戶對自身作業(yè)資源使用限制的需求以及Apache Slider提供的接口不夠友好等不足，本文首先通過研究實(shí)時作業(yè)的特性，同時結(jié)合Hadoop調(diào)度的特性，設(shè)計(jì)了三種實(shí)時調(diào)度器:LSS(LeastSpare-time Scheduler)、SPS(Shortest Period Scheduler)、MUS(Maximum

3、 UrgencyScheduler)。其核心是通過修改作業(yè)隊(duì)列里面作業(yè)的優(yōu)先級排序算法，讓更多作業(yè)能在截止期前完成。其中LSS調(diào)度器的核心是預(yù)測作業(yè)的空閑時間，采用空閑時間越小，作業(yè)的優(yōu)先級越高的調(diào)度策略。SPS調(diào)度器針對多個周期性工作流，采用了周期越短的工作流上作業(yè)的優(yōu)先級越高的調(diào)度策略。MUS調(diào)度器用截止時間描述作業(yè)的優(yōu)先級，采用截止時間越短優(yōu)先級越高的調(diào)度策略。經(jīng)過實(shí)驗(yàn)驗(yàn)證，這三種調(diào)度器都能很好地滿足實(shí)時性作業(yè)的服務(wù)質(zhì)量需求。其次

4、，對Hadoop內(nèi)核中的MapReduce應(yīng)用管理器（MapReduce Application Master，MRAM）進(jìn)行修改，通過其向資源管理器(ResourceManager，RM)申請資源時，根據(jù)用戶指定的并發(fā)性限制申請的資源量，使得作業(yè)獲取的資源量最大不會超過限制的資源量，從而達(dá)到限制作業(yè)并發(fā)性的個性化需求。經(jīng)過實(shí)驗(yàn)驗(yàn)證，該特性能很好地滿足用戶對作業(yè)并發(fā)性限制的服務(wù)質(zhì)量需求。最后，通過分析Apache Slider，發(fā)現(xiàn)其提