基于NUMA架構(gòu)的多線程程序性能和能耗研究.pdf

1、在云計(jì)算環(huán)境下，非一致性內(nèi)存訪問NUMA（Non-Uniform Memory Access）架構(gòu)運(yùn)用的越來越廣泛。當(dāng)單線程多任務(wù)的程序運(yùn)行在 NUMA系統(tǒng)上時(shí)，會遇到數(shù)據(jù)本地性和共享資源沖突兩個(gè)問題。而當(dāng)多線程程序運(yùn)行在 NUMA系統(tǒng)上時(shí)，會使上述的兩個(gè)問題變得更加復(fù)雜：1）多線程程序的共享數(shù)據(jù)會導(dǎo)致不同節(jié)點(diǎn)之間產(chǎn)生遠(yuǎn)端訪問，破壞NUMA系統(tǒng)本地性；2）當(dāng)多個(gè)線程同時(shí)讀取同一個(gè)NUMA節(jié)點(diǎn)上的內(nèi)存數(shù)據(jù)時(shí)，會競爭該節(jié)點(diǎn)上的共享資源，導(dǎo)致

2、嚴(yán)重的緩存以及互聯(lián)總線沖突。另外，多線程程序還會帶來關(guān)鍵線程的問題。具有更多遠(yuǎn)端內(nèi)存訪問的線程成為系統(tǒng)中的關(guān)鍵線程，這些關(guān)鍵線程會影響整個(gè)程序的性能并增加程序運(yùn)行期間的能量消耗。以往的研究主要關(guān)注提升NUMA系統(tǒng)的性能，很少考慮節(jié)省NUMA系統(tǒng)的能耗。圍繞上述若干問題，針對“基于 NUMA架構(gòu)的多線程程序性能和能耗研究”課題，開展了以下四個(gè)方面的研究：
　　針對 NUMA系統(tǒng)中出現(xiàn)的內(nèi)存訪問延遲過高的現(xiàn)象，提供給程序員一個(gè)工具檢測

3、并分析 NUMA系統(tǒng)中的性能瓶頸。通過分析系統(tǒng)中的延遲信息，該工具能做出三種判斷：1）如果共享數(shù)據(jù)的訪問延遲要高于私有數(shù)據(jù)的訪問延遲，那么系統(tǒng)中的共享數(shù)據(jù)會導(dǎo)致較大數(shù)目的遠(yuǎn)端訪問；2）如果系統(tǒng)中存在異常高的內(nèi)存訪問延遲，那么系統(tǒng)中很有可能發(fā)生共享資源沖突；3）如果各線程之間的遠(yuǎn)端內(nèi)存訪問數(shù)目差異較大，那么遠(yuǎn)端內(nèi)存訪問數(shù)目最多的線程會成為影響整個(gè)程序性能的關(guān)鍵線程。在檢測并分析出這些性能瓶頸之后，采用簡便和通用的 NUMA系統(tǒng)優(yōu)化技術(shù)能夠

4、提升多線程程序的性能。
　　針對關(guān)鍵線程導(dǎo)致 NUMA系統(tǒng)性能下降的現(xiàn)象，提出一種對稱式調(diào)度機(jī)制來均衡多線程之間的遠(yuǎn)端內(nèi)存訪問數(shù)目。在 NUMA環(huán)境中，程序數(shù)據(jù)對于某些線程來說是本地?cái)?shù)據(jù)，對于其他線程來說則是遠(yuǎn)端數(shù)據(jù)。具有遠(yuǎn)端內(nèi)存訪問較多的線程會比其他線程運(yùn)行地更慢，成為影響整個(gè)多線程程序性能的關(guān)鍵線程。通過對稱式線程調(diào)度機(jī)制，將線程對稱地匹配到所有的處理器節(jié)點(diǎn)上，可以平衡所有線程的遠(yuǎn)端內(nèi)存訪問次數(shù)，使每個(gè)線程具有相似的本地和遠(yuǎn)端

5、數(shù)據(jù)訪問數(shù)目。這樣，所有的線程幾乎會同時(shí)達(dá)到線程同步點(diǎn)，避免關(guān)鍵線程拖累性能的情況發(fā)生。
　　針對多線程程序在 NUMA系統(tǒng)上運(yùn)行時(shí)性能和能耗的關(guān)系，提出一個(gè)性能提升和能耗增長的線性負(fù)相關(guān)性模型。在模型中分別考慮以下兩種假設(shè)：實(shí)際加速比趨近于常量，以及實(shí)際加速比趨近于線性加速比?；谛阅芎湍芎闹g關(guān)系，可以指導(dǎo)NUMA系統(tǒng)進(jìn)行動態(tài)調(diào)優(yōu)：根據(jù)多線程程序性能可擴(kuò)展性的好壞，增加/減少該程序所使用的節(jié)點(diǎn)數(shù)，可以在滿足能耗預(yù)算/性能要求前

6、提下提升性能或者節(jié)省能耗。進(jìn)一步研究發(fā)現(xiàn)，影響性能和能耗之間關(guān)系的因素包括：遠(yuǎn)端內(nèi)存訪問開銷、線程間同步開銷和負(fù)載非均衡開銷。其中，由關(guān)鍵和非關(guān)鍵線程完成時(shí)間不一致引起的同步開銷是導(dǎo)致程序性能/能耗可擴(kuò)展性變差的主要原因之一。
　　針對 NUMA系統(tǒng)上關(guān)鍵線程和非關(guān)鍵線程的完成時(shí)間不同，提出一種動態(tài)頻率調(diào)整策略來降低整個(gè)系統(tǒng)的能耗。在 NUMA系統(tǒng)中，關(guān)鍵線程需要訪問更多的遠(yuǎn)端內(nèi)存，運(yùn)行時(shí)間比非關(guān)鍵線程更長。因此，程序的執(zhí)行時(shí)間是