基于NUMA架構(gòu)的多線程程序性能和能耗研究.pdf

1、在云計算環(huán)境下，非一致性內(nèi)存訪問NUMA（Non-Uniform Memory Access）架構(gòu)運用的越來越廣泛。當(dāng)單線程多任務(wù)的程序運行在 NUMA系統(tǒng)上時，會遇到數(shù)據(jù)本地性和共享資源沖突兩個問題。而當(dāng)多線程程序運行在 NUMA系統(tǒng)上時，會使上述的兩個問題變得更加復(fù)雜：1）多線程程序的共享數(shù)據(jù)會導(dǎo)致不同節(jié)點之間產(chǎn)生遠端訪問，破壞NUMA系統(tǒng)本地性；2）當(dāng)多個線程同時讀取同一個NUMA節(jié)點上的內(nèi)存數(shù)據(jù)時，會競爭該節(jié)點上的共享資源，導(dǎo)致

2、嚴(yán)重的緩存以及互聯(lián)總線沖突。另外，多線程程序還會帶來關(guān)鍵線程的問題。具有更多遠端內(nèi)存訪問的線程成為系統(tǒng)中的關(guān)鍵線程，這些關(guān)鍵線程會影響整個程序的性能并增加程序運行期間的能量消耗。以往的研究主要關(guān)注提升NUMA系統(tǒng)的性能，很少考慮節(jié)省NUMA系統(tǒng)的能耗。圍繞上述若干問題，針對“基于 NUMA架構(gòu)的多線程程序性能和能耗研究”課題，開展了以下四個方面的研究：
　　針對 NUMA系統(tǒng)中出現(xiàn)的內(nèi)存訪問延遲過高的現(xiàn)象，提供給程序員一個工具檢測

3、并分析 NUMA系統(tǒng)中的性能瓶頸。通過分析系統(tǒng)中的延遲信息，該工具能做出三種判斷：1）如果共享數(shù)據(jù)的訪問延遲要高于私有數(shù)據(jù)的訪問延遲，那么系統(tǒng)中的共享數(shù)據(jù)會導(dǎo)致較大數(shù)目的遠端訪問；2）如果系統(tǒng)中存在異常高的內(nèi)存訪問延遲，那么系統(tǒng)中很有可能發(fā)生共享資源沖突；3）如果各線程之間的遠端內(nèi)存訪問數(shù)目差異較大，那么遠端內(nèi)存訪問數(shù)目最多的線程會成為影響整個程序性能的關(guān)鍵線程。在檢測并分析出這些性能瓶頸之后，采用簡便和通用的 NUMA系統(tǒng)優(yōu)化技術(shù)能夠

4、提升多線程程序的性能。
　　針對關(guān)鍵線程導(dǎo)致 NUMA系統(tǒng)性能下降的現(xiàn)象，提出一種對稱式調(diào)度機制來均衡多線程之間的遠端內(nèi)存訪問數(shù)目。在 NUMA環(huán)境中，程序數(shù)據(jù)對于某些線程來說是本地數(shù)據(jù)，對于其他線程來說則是遠端數(shù)據(jù)。具有遠端內(nèi)存訪問較多的線程會比其他線程運行地更慢，成為影響整個多線程程序性能的關(guān)鍵線程。通過對稱式線程調(diào)度機制，將線程對稱地匹配到所有的處理器節(jié)點上，可以平衡所有線程的遠端內(nèi)存訪問次數(shù)，使每個線程具有相似的本地和遠端

5、數(shù)據(jù)訪問數(shù)目。這樣，所有的線程幾乎會同時達到線程同步點，避免關(guān)鍵線程拖累性能的情況發(fā)生。
　　針對多線程程序在 NUMA系統(tǒng)上運行時性能和能耗的關(guān)系，提出一個性能提升和能耗增長的線性負相關(guān)性模型。在模型中分別考慮以下兩種假設(shè)：實際加速比趨近于常量，以及實際加速比趨近于線性加速比?；谛阅芎湍芎闹g關(guān)系，可以指導(dǎo)NUMA系統(tǒng)進行動態(tài)調(diào)優(yōu)：根據(jù)多線程程序性能可擴展性的好壞，增加/減少該程序所使用的節(jié)點數(shù)，可以在滿足能耗預(yù)算/性能要求前

6、提下提升性能或者節(jié)省能耗。進一步研究發(fā)現(xiàn)，影響性能和能耗之間關(guān)系的因素包括：遠端內(nèi)存訪問開銷、線程間同步開銷和負載非均衡開銷。其中，由關(guān)鍵和非關(guān)鍵線程完成時間不一致引起的同步開銷是導(dǎo)致程序性能/能耗可擴展性變差的主要原因之一。
　　針對 NUMA系統(tǒng)上關(guān)鍵線程和非關(guān)鍵線程的完成時間不同，提出一種動態(tài)頻率調(diào)整策略來降低整個系統(tǒng)的能耗。在 NUMA系統(tǒng)中，關(guān)鍵線程需要訪問更多的遠端內(nèi)存，運行時間比非關(guān)鍵線程更長。因此，程序的執(zhí)行時間是