GPU通及計算虛擬化方法研究.pdf

1、作為云計算的關(guān)鍵性基礎設施，系統(tǒng)級虛擬機技術(shù)是當前計算機體系結(jié)構(gòu)領域的研究熱點之一。系統(tǒng)級虛擬機技術(shù)成功的將許多物理設備抽象成內(nèi)存或硬盤中的數(shù)據(jù)結(jié)構(gòu)，如網(wǎng)卡、硬盤、內(nèi)存等，但GPU(Graphic Processing Unit，圖形處理單元)從來不曾被完善的虛擬化。這其中一個主要原因在于GPU缺乏統(tǒng)一的硬件接口和開放的體系規(guī)范。在實踐中，學術(shù)界和工業(yè)界選擇在協(xié)議棧的更高層--用戶API(Application Programming

2、Interface，應用程序編程接口)層進行虛擬化，一些針對傳統(tǒng)圖形API的虛擬化工作已取得階段性成果。CUDA(ComputeUnified Device Architecture)是一套嶄新的GPU應用編程API，專注于通用計算(General-Purpose computation)而不是圖形應用，是目前事實上的通用計算工業(yè)標準。它向程序員提供了直接控制GPU執(zhí)行并行計算的能力，而不再依賴于傳統(tǒng)圖形API如OPENGL。CUDA框

3、架的出現(xiàn)為系統(tǒng)級虛擬化技術(shù)帶來了新的問題：已有的針對圖形API的虛擬化工具對虛擬化CUDA沒有任何幫助，運行在虛擬機中的應用程序無法調(diào)用CUDA API，從而不能利用GPU先進的并行加速功能。
　　為了解決這個問題，本文提出并實現(xiàn)了首個針對通用計算的虛擬化解決方案--vCUDA(virtual CUDA)。vCUDA允許虛擬機中的應用程序訪問位于虛擬機外部的通用計算資源，向它們提供GPU通用計算能力，對加速虛擬機環(huán)境下的高性能計算

4、具有重要意義。vCUDA的設計和實現(xiàn)有四個主要的方面：API重定向(API remoting)、懶惰RPC(lazy RPC)、虛擬機專用RPC系統(tǒng)VMRPC(VirtualMachine Remote Procedure Call)和虛擬機高級特性支持。
　　API重定向是指在用戶層攔截API接口，將其參數(shù)轉(zhuǎn)發(fā)到遠程服務器，在遠程服務器端完成實際計算工作，最后將計算結(jié)果返回用戶。由于采用了在動態(tài)庫中攔截和重定向API的技術(shù)，vC

5、UDA在CUDA程序運行過程中實時進行虛擬化，不要求修改程序源碼、不重新編譯、不改變操作系統(tǒng)，實現(xiàn)了完全的二進制兼容，對程序員完全透明。針對NVIDIA官方樣例程序和第三方CUDA應用的測試表明：vCUDA在虛擬機內(nèi)實現(xiàn)了CUDA的全部功能，在遠程服務器中完整而準確地模擬了CUDA的內(nèi)部語義，所有實驗均得到了與非虛擬化條件下相同的執(zhí)行結(jié)果。
　　由于CUDA應用可能涉及成千上萬個API，針對每個API發(fā)送RPC將導致極大的性能開銷

6、。vCUDA借鑒了圖形項目中延遲更新(lazy update)的優(yōu)化思路，采用了懶惰RPC的方法。盡可能地推遲RPC的發(fā)生時刻，通過累積、過濾、合并上層調(diào)用，合理確定發(fā)送RPC的時機，將連續(xù)的API打包一次性發(fā)送，有效的提高了系統(tǒng)性能。相關(guān)實驗顯示，懶惰RPC可將RPC次數(shù)減少至30%，開啟懶惰RPC后vCUDA虛擬化性能最高可提升148%。
　　VMRPC是首個直接針對虛擬機體系的遠程過程調(diào)用系統(tǒng)，與傳統(tǒng)RPC系統(tǒng)不同的是，它利

7、用了虛擬機之間的共享內(nèi)存機制來實現(xiàn)堆和棧的共享，避免了不必要的數(shù)據(jù)復制和序列化操作，達到了傳統(tǒng)RPC在虛擬機平臺下所無法企及的性能。相關(guān)實驗結(jié)果顯示，VMRPC的吞吐率最大可達到傳統(tǒng)RPC的100倍以上。利用API重定向和VMRPC，vCUDA同時實現(xiàn)了虛擬化的透明性和高效性，針對官方樣例和第三方程序的測試表明，vCUDA所引入的虛擬化開銷不超過21%，具有較大的實用價值。
　　在CUDA虛擬化的相關(guān)基礎上，vCUDA實現(xiàn)了對多路

8、復用、掛起/恢復等傳統(tǒng)虛擬機高級特性的支持，使得依賴于這些特性的虛擬機應用可以無縫部署于vCUDA框架之上。vCUDA采用了“一對多”模式來實現(xiàn)多路復用，由單一的工作線程來滿足不同客戶的應用請求。在掛起/恢復功能方面，vCUDA利用Kernel運行的間隙來保存和恢復當前CUDA狀態(tài)。相關(guān)實驗結(jié)果顯示，vCUDA在實施多路復用、掛起/恢復的過程中僅引入了有限的開銷，滿足實際應用的需要。進一步，本文利用vCUDA所采用的CUDA狀態(tài)追蹤和管