基于YARN的FPGA異構(gòu)集群系統(tǒng)研究.pdf

1、近年來，在Hadoop平臺上集成FPGA進(jìn)行算法加速的研究受到了廣泛關(guān)注。通過利用Hadoop將計(jì)算過程在節(jié)點(diǎn)之間并行，以及在單個(gè)計(jì)算節(jié)點(diǎn)上利用FPGA硬件加速，這些研究對特定算法的加速上取得了很好的效果。但是，它們大多假設(shè)集群計(jì)算節(jié)點(diǎn)同構(gòu)，沒有在集群層面對 FPGA加速器資源進(jìn)行統(tǒng)一的管理和調(diào)度，應(yīng)用程序開發(fā)復(fù)雜程度高。而且，整個(gè)集群的軟硬件結(jié)構(gòu)為運(yùn)行某一特定的算法高度定制，通用性差，資源利用率較低。另外，受限于 FPGA計(jì)算邏輯固化

2、的特點(diǎn)，已有的在Hadoop集群中管理其他計(jì)算加速設(shè)備的方法不適用于管理FPGA加速器。
　　YARN資源管理平臺的出現(xiàn)為FPGA資源統(tǒng)一管理提供了可能。結(jié)合FPGA加速器邏輯專用性的特點(diǎn)，采用資源表示維度擴(kuò)充和基于標(biāo)簽的資源調(diào)度相結(jié)合的方法對YARN平臺進(jìn)行擴(kuò)展，擴(kuò)展YARN平臺能夠在包含多種FPGA加速器的異構(gòu)集群中對FPGA加速器資源進(jìn)行統(tǒng)一的管理和調(diào)度。同時(shí)，擴(kuò)展平臺隱藏了FPGA加速器在集群中的位置分布，為應(yīng)用程序申請和

3、使用加速器提供了統(tǒng)一的接口。此外，通過對YARN平臺上的計(jì)算框架的資源申請和子任務(wù)執(zhí)行邏輯進(jìn)行擴(kuò)展，擴(kuò)展計(jì)算框架在保持原有計(jì)算模式不變的基礎(chǔ)上具備在運(yùn)行過程中申請和使用 FPGA加速器的能力。
　　在擴(kuò)展YARN資源管理平臺下同時(shí)運(yùn)行普通應(yīng)用程序以及FPGA加速的應(yīng)用程序的結(jié)果表明，擴(kuò)展平臺在具備了 FPGA資源管理和調(diào)度能力的同時(shí)，保持了對原生YARN平臺上的各種計(jì)算框架的支持，使得集群通用性和資源利用率都有了很大的提高。在擴(kuò)展