面向大數(shù)據(jù)并行計算的細(xì)粒度互連通信接口設(shè)計與實現(xiàn).pdf

1、大數(shù)據(jù)時代的到來引發(fā)了數(shù)據(jù)密集型處理的問題，其數(shù)據(jù)規(guī)模巨大，但數(shù)據(jù)局部性較差，訪存通信模式不規(guī)則?，F(xiàn)有高性能并行計算機主要處理計算密集型問題，適合進行大規(guī)模浮點運算，難以高效處理數(shù)據(jù)密集型問題。其中，并行計算機的通信系統(tǒng)傳輸大報文的時候效率很高，而大數(shù)據(jù)全局細(xì)粒度不規(guī)則訪存會導(dǎo)致互連通信系統(tǒng)的性能出現(xiàn)大幅下降。
　　在深入研究大數(shù)據(jù)問題的特點基礎(chǔ)上，為了更好地解決大數(shù)據(jù)并行計算面臨的細(xì)粒度通信的低效問題，本課題面向并行計算的通信體

2、系結(jié)構(gòu)展開研究，主要工作和創(chuàng)新點如下：
　　第一，研究現(xiàn)有的并行計算機體系結(jié)構(gòu)，尤其是系統(tǒng)訪存和通信結(jié)構(gòu)，分析其在面臨大數(shù)據(jù)問題時的不足之處。針對通信系統(tǒng)的瓶頸問題，提出一種GNG通信系統(tǒng)，包括通信接口、訪存控制和同步控制三個部分。
　　第二，為了降低節(jié)點間的通信延遲，提出一種低延遲的通信接口結(jié)構(gòu)。通過多方面的結(jié)構(gòu)優(yōu)化，該通信接口可以顯著降低節(jié)點間的通信延遲。基于InfiniBand高速互連方案，在FPGA平臺上實現(xiàn)了該通信

3、接口，使其與標(biāo)準(zhǔn)的InfiniBand子網(wǎng)兼容。實驗表明，在40Gbps帶寬下，節(jié)點間的通信延遲低至0.398μs。
　　第三，為了實現(xiàn)高效的全局細(xì)粒度訪存，提出了全局統(tǒng)一編址的共享地址空間主存數(shù)據(jù)訪問方案，以統(tǒng)一的指令實現(xiàn)對本地和遠(yuǎn)程內(nèi)存的向量訪問。經(jīng)過實驗驗證，完成遠(yuǎn)程讀和遠(yuǎn)程寫的延遲分別約為1.052μs和0.474μs。
　　第四，面向并行算法中的全局通信和同步要求，設(shè)計并實現(xiàn)了一種可擴展到多節(jié)點的硬件全局柵欄同步機