面向延遲優(yōu)化的多核處理器Cache數(shù)據(jù)管理機制研究.pdf

1、半導體工藝水平的不斷提高和集成電路設計能力的快速發(fā)展，為多核處理器的誕生提供了必要的孵化環(huán)境并持續(xù)推動其設計技術(shù)走向成熟。目前，多核處理器憑借其計算能力較強、設計復雜度較低、可擴展性較好等優(yōu)勢，已經(jīng)廣泛應用于商業(yè)服務器、高性能計算、個人電腦、嵌入式系統(tǒng)等領域并且表現(xiàn)出有力的競爭優(yōu)勢。然而，隨著多核計算能力與片外訪存速度之間差異的不斷增大，“存儲墻”問題已經(jīng)成為嚴重束縛多核處理器性能提升的關鍵瓶頸。片上Cache作為彌補處理器和內(nèi)存之間速

2、度差異的中間橋梁組件，是緩解“存儲墻”問題的最佳著眼點和關鍵突破口。合理組織并充分利用片上Cache資源，設計高效的Cache數(shù)據(jù)管理機制，對于改善微處理器整體性能至關重要。隨著片上Cache容量的不斷增加和復雜片上互連結(jié)構(gòu)的采用，加之應用程序訪存特性多樣化的影響，致使多核環(huán)境下大容量Cache設計面臨許多新的嚴峻挑戰(zhàn)，傳統(tǒng)的私有或共享 Cache結(jié)構(gòu)無法在低失效率和低命中延遲之間進行有效權(quán)衡，嚴重制約訪存系統(tǒng)性能提升。本文針對微處理器

3、設計中的“存儲墻”問題展開研究，在分析私有、共享以及混合Cache結(jié)構(gòu)面臨的挑戰(zhàn)性問題和潛在優(yōu)化空間的基礎上，探索面向延遲優(yōu)化的多核處理器 Cache數(shù)據(jù)管理機制。
　　本研究主要內(nèi)容包括：⑴針對多核私有Cache結(jié)構(gòu)面臨的容量失效問題，本文提出一種基于細粒度偽劃分的核間容量共享機制CSFP，通過在細粒度層次為每個Cache Bank設置加權(quán)飽和計數(shù)器陣列來統(tǒng)計和預測各線程的訪存需求差異情況，控制各個處理器核在每個Cache Se

4、t上的私有域與共享域劃分比例，并以此指導各處理器核上的犧牲塊替換、溢出與接收決策，利用智能的核間容量借用機制來均衡處理器間訪存需求差異，從而緩解多核私有Cache結(jié)構(gòu)面臨的容量失效問題。在周期精確的體系結(jié)構(gòu)級全系統(tǒng)模擬器Simics平臺上，本文對16核瓦片式結(jié)構(gòu)下的CSFP機制進行了性能評估與分析，實驗表明，CSFP機制能夠有效改善多核私有Cache結(jié)構(gòu)的容量失效問題，多線程測試程序的運行時間平均可以得到大約8.57％的壓縮。⑵針對多核

5、共享Cache環(huán)境下多線程競爭訪問Cache資源導致的沖突失效問題，本文提出一種基于偏轉(zhuǎn)映射的沖突失效隔離機制IMI-SM，當多核片上末級共享 Cache發(fā)生失效需要從片外存儲器取數(shù)據(jù)時，如果靜態(tài)目標 Cache Set中的LRU候選犧牲塊被逐出時可能導致線程間或線程內(nèi)沖突失效，則啟動偏轉(zhuǎn)映射機制。通過引入專用的沖突隔離緩存區(qū)，或者采用Bank內(nèi)縱向壓力均衡策略來擴展數(shù)據(jù)映射時的候選目標Set選擇范圍，IMI-SW允許將從內(nèi)存取來的新數(shù)

6、據(jù)塊保存在片上沖突隔離緩存區(qū)或者存儲壓力相對較小的其它靜態(tài)耦合Cache Set中，以此緩解沖突失效對共享 Cache片上整體命中率造成的負面影響。實驗結(jié)果表明，IMI-SM可以顯著減少多核處理器在共享Cache資源時面臨的沖突失效現(xiàn)象，程序運行時間平均可以降低7.35%左右，因此能夠以較小的硬件代價獲得較高的訪存性能提升。⑶針對瓦片式多核處理器分布式共享Cache結(jié)構(gòu)面臨的長延遲命中問題，本文提出一種增強型選擇性犧牲塊復制機制E-VR

7、，在原始犧牲塊復制操作的基礎上引入候選犧牲塊過濾和目標組檢測機制，在進行犧牲塊復制操作時不但考慮其共享模式和讀寫特性，而且從細粒度層次考慮本地Cache Bank內(nèi)訪存壓力縱向非均衡分布特性，通過減少高代價復制操作的發(fā)生概率和擴展犧牲塊候選存放目標Set的選擇范圍，提高復制操作的性能獲益。實驗結(jié)果表明，E-VR可以將各應用程序的運行時間平均降低6.97%左右。E-VR在降低片上命中訪問延遲的同時，避免對共享 Cache的全局命中率造成過

8、大負面影響，能夠在低命中延遲和低失效率之間進行動態(tài)權(quán)衡，訪存系統(tǒng)性能得到進一步改善。⑷面向瓦片式多核分布式Cache的虛擬共享域劃分結(jié)構(gòu)，本文提出將數(shù)據(jù)自適應替換、遷移與復制機制集成為統(tǒng)一的數(shù)據(jù)管理框架F-RMR。F-RMR不但在數(shù)據(jù)替換時能夠感知本地目標Cache Set中候選犧牲塊的活躍狀態(tài)和片上唯一性，而且在多個虛擬共享域間進行數(shù)據(jù)遷移和復制決策時能夠協(xié)同感知命中數(shù)據(jù)的活躍程度與目標Cache Set的空閑狀態(tài)。通過替換、遷移與復