用戶態(tài)RPCover RDMA優(yōu)化技術(shù)的研究與實(shí)現(xiàn).pdf

1、RPC作為分布式系統(tǒng)中廣泛使用的組件，對于其帶寬利用率、吞吐率以及網(wǎng)絡(luò)時延的要求越來越高。傳統(tǒng)的基于TCP/UDP套接字實(shí)現(xiàn)的RPC組件其性能已面臨越發(fā)嚴(yán)峻的挑戰(zhàn)。目前高速InfiniBand網(wǎng)絡(luò)已經(jīng)得到了廣泛的應(yīng)用。InfiniBand網(wǎng)絡(luò)支持RDMA技術(shù)，基于RDMA技術(shù)實(shí)現(xiàn)RPC可以獲得較好的性能，有效的支持各類分布式系統(tǒng)。
　　用戶態(tài)RPC over RDMA是基于用戶態(tài)IB verbs接口實(shí)現(xiàn)的RPC組件，通過用戶態(tài) I

2、B verbs接口提供的零拷貝技術(shù)和內(nèi)核旁路技術(shù)，可以提供高帶寬低延遲的網(wǎng)絡(luò)傳輸性能。當(dāng)前基于IB verbs接口實(shí)現(xiàn)的RPC組件多使用RDMA_READ的方式實(shí)現(xiàn)遠(yuǎn)程內(nèi)存訪問，如果適當(dāng)?shù)氖褂?RDMA_WRITE方式進(jìn)行傳輸，可以明顯簡化RPC組件的網(wǎng)絡(luò)交互過程，對這一優(yōu)化方法進(jìn)行了詳細(xì)描述。同時，針對RPC組件使用IB verbs接口產(chǎn)生的內(nèi)存注冊開銷較大的問題提出了一套在RPC層進(jìn)行內(nèi)存管理的方案，主要思路是對注冊過的內(nèi)存塊反復(fù)使

3、用，從而減少內(nèi)存注冊的次數(shù)，由于在很多情況下，傳輸所涉及的內(nèi)存塊的分配和回收是由上層程序主導(dǎo)的，所以需要對 ONC RPC標(biāo)準(zhǔn)接口進(jìn)行了擴(kuò)充，增加內(nèi)存管理接口使得上層程序可以使用由RPC層所管理的內(nèi)存塊。
　　通過對優(yōu)化前后RPC over RDMA組件對比測試，以及和同等條件下TI-RPC的對比測試，分別驗(yàn)證了上述兩方面的優(yōu)化效果。結(jié)果表明，對傳輸模型的優(yōu)化明顯提升了用戶態(tài)RPC over RDMA服務(wù)端向客戶端返回?cái)?shù)據(jù)時的性能