眾核加速器的緩存管理.pdf

1、為了延續(xù)摩爾定律，半導(dǎo)體產(chǎn)業(yè)開始向高效能的異構(gòu)芯片或系統(tǒng)的方向發(fā)展。以GPU為代表的眾核加速器得到廣泛應(yīng)用，并且開始集成到通用微處理器中。GPU采用SIMT執(zhí)行模型，對于很多訪存模式規(guī)則的應(yīng)用程序， GPU能夠通過大規(guī)模多線程來隱藏訪存延遲。為了支持更多不規(guī)則訪存模式的應(yīng)用程序，片上緩存層次結(jié)構(gòu)被加入到GPU體系結(jié)構(gòu)中，來捕捉時間和空間局部性，從而緩解不規(guī)則訪問對系統(tǒng)性能的不利影響。然而， GPU緩存的效率不高，制約了系統(tǒng)的性能和效能。

2、
　　GPU緩存低效的主要原因是其管理策略同面向吞吐率的執(zhí)行模型不相適應(yīng)。GPU生成的大量訪存請求引起了緩存沖突和資源擁塞。現(xiàn)有的CPU緩存管理策略是針對多核系統(tǒng)設(shè)計的，直接應(yīng)用到GPU中效果并不好。這主要是因為CPU緩存管理策略無法有效控制工作集和其它資源使用情況。不僅如此，當(dāng)大規(guī)模并行受限于片上資源時，計算部件長時間處于等待數(shù)據(jù)的狀態(tài)，系統(tǒng)效能也會因此降低。為了盡可能地減少訪存延遲和帶寬需求，程序員往往需要對GPU代碼進(jìn)行復(fù)雜

3、而繁瑣的優(yōu)化，這在很大程度上增加了程序員的負(fù)擔(dān)。
　　為了解決上述問題，本文提出針對GPGPU的執(zhí)行模式定制其片上緩存管理策略。對線程束調(diào)度和流訪問模式感知的緩存替換策略能夠減少緩存污染和沖突。基于重用距離的緩存旁路策略對緩存層次進(jìn)行保護(hù)，以緩解緩存沖突。動態(tài)監(jiān)測機(jī)制在運行時通過計數(shù)器采樣獲取緩存沖突和資源擁塞的信息。為了避免過度使用片上資源，旁路策略協(xié)同線程束調(diào)節(jié)機(jī)制對活躍的線程束數(shù)目進(jìn)行動態(tài)控制。本文的研究工作和創(chuàng)新點主要包括

4、：
　　1.提出了針對GPGPU大規(guī)模并行執(zhí)行模式下訪存行為的自適應(yīng)緩存替換和旁路策略。本文對GPGPU應(yīng)用的訪存行為進(jìn)行了詳細(xì)的模擬和分析，實驗結(jié)果顯示了GPU緩存的低效及其根源。針對嚴(yán)重的緩存污染和沖突問題，本文將CPU中現(xiàn)有的先進(jìn)緩存管理策略移植到GPU中，實驗結(jié)果顯示，先進(jìn)的管理策略能夠一定程度上提升GPU緩存效率，但是仍然存在局限性。本文結(jié)合了目前最先進(jìn)的防污染和防沖突緩存管理策略，提出了針對GPU中流訪問模式和劇烈沖突

5、問題的管理策略，實驗結(jié)果表明，該策略能夠獲得明顯的性能提升。
　　2.提出了克服單純旁路策略局限性的協(xié)同旁路和線程束調(diào)節(jié)技術(shù)。在緩存旁路策略對緩存層次進(jìn)行保護(hù)的基礎(chǔ)上，引入線程束調(diào)節(jié)機(jī)制對活躍的線程束數(shù)目進(jìn)行動態(tài)控制。通過動態(tài)緩存沖突和資源擁塞監(jiān)測機(jī)制獲取反饋信息，指導(dǎo)線程束調(diào)節(jié)。本文還提出了一個簡單的預(yù)測器來動態(tài)估計最優(yōu)的活躍線程束數(shù)目，以充分利用緩存容量和其它片上資源。實驗結(jié)果表明，對于緩存敏感的測試程序，該方法能顯著提高緩存

6、效率，且更好地利用片上資源。相比基準(zhǔn)GPU架構(gòu)和最優(yōu)靜態(tài)線程束調(diào)節(jié)，系統(tǒng)性能（ IPC）分別平均提升了74％和17%，（最多提升達(dá)到661%和44%）。
　　3.提出了GPGPU中緩存感知的功耗管理機(jī)制。理想情況下GPU的峰值性能同其計算單元的數(shù)目和工作頻率成正比，但實際的應(yīng)用程序?qū)ο到y(tǒng)資源的需求差異很大，訪存密集的應(yīng)用程序很可能受限于存儲子系統(tǒng)，因而遠(yuǎn)遠(yuǎn)無法達(dá)到其峰值的計算性能。本文針對受限于存儲子系統(tǒng)的訪存密集型應(yīng)用程序，考慮