GPU加速的FastDFS主動存儲的研究與實現(xiàn).pdf

1、隨著時代的進步和網(wǎng)絡(luò)技術(shù)的廣泛發(fā)展，人們對網(wǎng)絡(luò)越來越依賴。人們所產(chǎn)生的數(shù)據(jù)都存放在云服務(wù)器端，并且越來越多的存儲服務(wù)需要對存儲節(jié)點中的數(shù)據(jù)執(zhí)行分析、歸類、總結(jié)等操作。這對網(wǎng)絡(luò)存儲系統(tǒng)的網(wǎng)絡(luò)帶寬提出了更高的需求。本文的主要目的是通過研究主動存儲機制來提高分布式文件系統(tǒng)FastDFS的存儲性能。
　　首先，我們根據(jù)主動存儲概念設(shè)計了適用于FastDFS的主動存儲(AS)模型。它采用了傳統(tǒng)的C/S模型，我們在客戶端和服務(wù)器端分別實現(xiàn)了主

2、動存儲接口函數(shù)，用于實現(xiàn)主動存儲機制。但是上述主動存儲模型有兩個缺點。第一，它只適合于數(shù)據(jù)過濾型的存儲服務(wù)，對于其他類型存儲服務(wù)的加速效果不明顯。第二，存儲服務(wù)器端的計算能力有限。因為CPU不僅需要處理客戶端發(fā)送的命令，還需要執(zhí)行對應(yīng)的計算任務(wù)。并且，CPU被設(shè)計為主要處理邏輯運算任務(wù)，并不擅長數(shù)據(jù)密集型的計算任務(wù)。
　　針對上述的兩個缺點，我們對主動存儲模型進行了優(yōu)化，提出了GPU加速的主動存儲(GAS)模型。我們在模型中加入了

3、調(diào)用GPU計算能力的并行計算模塊，以及解決系統(tǒng)擴展性問題的kernel library模塊。通過調(diào)用GPU的大規(guī)模并行計算能力來增強服務(wù)器的計算能力，使它能夠適合更多類型的存儲服務(wù)。在實現(xiàn)過程中，我們使用OpenCL編程語言來調(diào)用GPU的通用計算能力。
　　其次，在主動存儲框架設(shè)計完成后，我們設(shè)計并實現(xiàn)了客戶端與存儲服務(wù)器端的通信協(xié)議ASCP。并且分別實現(xiàn)了客戶端與服務(wù)器端的主動存儲API。
　　最后，搭建實驗平臺，對上述的