基于FPGA加速的YARN異構集群管理方法研究.pdf

1、大數(shù)據(jù)時代下，通用處理器的處理能力無法滿足工業(yè)界、學術界對數(shù)據(jù)挖掘、機器學習類算法計算性能要求，加速設備與Hadoop集群融合已成為一種重要的趨勢。當前研究主要集中在利用加速設備實現(xiàn)MapReduce編程模型，或者利用Hadoop集群集成加速設備，探討利用加速設備的并行計算能力及其他優(yōu)勢優(yōu)化MapReduce計算框架。在Hadoop集群上集成加速設備，需要從實現(xiàn)的角度，研究加速設備的具體集成方式，構造更通用、可靠性更高的加速系統(tǒng)。

2、>　　Hadoop集群中計算任務分為本地任務與非本地任務，任務執(zhí)行的基本設計思想是“計算跟著數(shù)據(jù)走”，但考慮到作業(yè)執(zhí)行效率，非本地任務的計算數(shù)據(jù)會通過網(wǎng)絡傳輸?shù)竭_任務執(zhí)行節(jié)點，利用任務執(zhí)行節(jié)點的計算資源進行運算。當加速設備在Hadoop集群中每臺計算節(jié)點不統(tǒng)一部署時，即YARN異構集群，任務執(zhí)行節(jié)點有可能沒有加速計算資源，但現(xiàn)有的研究工作中非本地任務有可能無法完成計算，導致加速程序運行失敗。在YARN平臺集成FPGA加速器基礎上針對YA

3、RN異構集群提出解決方案，方案首先將集群計算節(jié)點分為加速類型計算節(jié)點和非加速類型計算節(jié)點，針對加速程序，數(shù)據(jù)塊副本定向存儲到加速類型計算節(jié)點上，并且集群資源調度器只分配加速類型計算節(jié)點的資源容器，有效地解決了加速程序的非本地任務成功執(zhí)行問題。普通類型應用程序則按照原有的執(zhí)行方式運行。
　　所提解決方案主要對HDFS客戶端寫數(shù)據(jù)過程以及資源調度器資源調度算法進行改造，通過實驗驗證其可行性和向前兼容性，并對擴展后的資源調度器就小規(guī)模集