多核緩存系統(tǒng)優(yōu)化及評測研究.pdf

1、隨著多核及眾核技術(shù)的不斷發(fā)展，處理器與主存之間的延時和帶寬差距越來越大。為了緩解這一差距，多級緩存系統(tǒng)已成為現(xiàn)代多核/眾核處理器設(shè)計中不可或缺的一部分，并且變得越來越復(fù)雜。由于緩存系統(tǒng)性能對于程序整體執(zhí)行性能至關(guān)重要，因此，多核緩存系統(tǒng)優(yōu)化及評測工作一直以來都是計算機體系結(jié)構(gòu)研究的熱點和重點之一。
　　當(dāng)前多核緩存系統(tǒng)相關(guān)研究主要集中在以下四個方面。第一、針對現(xiàn)有多核緩存系統(tǒng)的軟件優(yōu)化，包括程序局部性優(yōu)化和軟件數(shù)據(jù)預(yù)取技術(shù)等。第二

2、、針對現(xiàn)有多核緩存系統(tǒng)的評測工作，主要為軟件優(yōu)化提供支持。第三、針對多核緩存系統(tǒng)硬件設(shè)計的優(yōu)化，主要關(guān)注硬件緩存如何組織設(shè)計從而進一步提高緩存系統(tǒng)性能。第四、針對多核緩存系統(tǒng)硬件設(shè)計的評測工作，主要基于多核（緩存）模擬器評測平臺。
　　然而現(xiàn)有多核緩存系統(tǒng)優(yōu)化及評測工作仍然存在一些缺點與不足。首先，當(dāng)前針對現(xiàn)有眾核緩存系統(tǒng)評測工作主要采用基于持續(xù)時間較長事件的微基準測試方法，對緩存系統(tǒng)延時和帶寬進行評測，而忽略了數(shù)據(jù)預(yù)取相關(guān)的緩存

3、微體系結(jié)構(gòu)特征評測。并且這些微基準測試評測方法并未系統(tǒng)考慮可能對微基準測試行為造成干擾的影響因素。其次，現(xiàn)有軟件預(yù)取工作從來沒有考慮數(shù)據(jù)預(yù)取時多級緩存之間的協(xié)作。隨著現(xiàn)代眾核處理器的發(fā)展，很多新的微體系結(jié)構(gòu)特征及硬件資源限制不斷涌現(xiàn)，多級緩存之間只有通過協(xié)作才能保證軟件數(shù)據(jù)預(yù)取的及時性，從而獲得較好的程序性能。最后，當(dāng)前主流多核（緩存）模擬器通常采用緊耦合模塊設(shè)計，造成了多核模擬器可擴展性差及性能受限制兩大問題。然而如何提高多核（緩存）

4、模擬器可擴展性的相關(guān)研究仍然比較欠缺。
　　本文針對當(dāng)前多核緩存系統(tǒng)優(yōu)化及評測工作的不足，對現(xiàn)有眾核緩存微體系結(jié)構(gòu)評測方法、現(xiàn)有多級緩存系統(tǒng)下的軟件數(shù)據(jù)預(yù)取算法、以及多核緩存模擬器評測工具可擴展性等三個方面展開了研究。具體而言，本文貢獻如下:
　　第一，針對現(xiàn)有眾核處理器，我們提出了一種新的基于持續(xù)時間較短事件的微基準測試方法，從而更加全面的評測其緩存微體系結(jié)構(gòu)特征，尤其是之前沒有考慮的軟件及硬件數(shù)據(jù)預(yù)取相關(guān)參數(shù)。在該方法中

5、，我們首次系統(tǒng)分析了可能對微基準測試性能造成干擾的相關(guān)影響因素，并提出了相應(yīng)設(shè)計方案從而嚴格控制和轉(zhuǎn)移這些因素的影響。針對最新的Intel Xeon Phi眾核處理器，我們評測了很多未公開的緩存微體系結(jié)構(gòu)參數(shù)，尤其是數(shù)據(jù)預(yù)取相關(guān)的參數(shù)。根據(jù)這些參數(shù)，我們進一步提出了很多關(guān)于眾核體系結(jié)構(gòu)下如何高效進行軟件和硬件數(shù)據(jù)預(yù)取的見解，例如分級協(xié)同軟件預(yù)取、利用空余核進行數(shù)據(jù)預(yù)取等。
　　其次，針對現(xiàn)有眾核處理器多級緩存結(jié)構(gòu)，我們提出了一種新

6、的分級協(xié)同軟件數(shù)據(jù)預(yù)取優(yōu)化，有效緩解了傳統(tǒng)數(shù)據(jù)預(yù)取對MSHR(Miss Status HoldingRegister)等緩存資源所造成的競爭，并且考慮了分級協(xié)同軟件預(yù)取與同時多線程SMT、其他軟件緩存優(yōu)化如循環(huán)分塊技術(shù)的交互。我們在源對源(source-to-source)編譯器ROSE上面實現(xiàn)了該分級協(xié)同軟件數(shù)據(jù)預(yù)取算法。相比于Intel Xeon Phi硬件預(yù)取器，我們?nèi)〉昧似骄?.55倍的加速，相比于處于當(dāng)前領(lǐng)先水平的Intel

7、ICC編譯器，我們?nèi)〉昧似骄?.3倍的加速。
　　最后，針對多核緩存系統(tǒng)硬件優(yōu)化評測，我們設(shè)計并實現(xiàn)了松耦合、易擴展、周期精確的多核（緩存）模擬器評測工具Transformer。在Transformer中，我們首次系統(tǒng)分析了松耦合多核模擬器中導(dǎo)致周期精確性損失的限制因素并提出了輕量級的檢測及恢復(fù)策略。為了進一步提高Transformer的可擴展性，我們設(shè)計了體系結(jié)構(gòu)無關(guān)的功能/時序模擬模塊交互接口和片上系統(tǒng)應(yīng)用程序擴展庫接口。在案