基于減少外存訪問的多任務圖處理系統(tǒng)研究.pdf

1、圖處理系統(tǒng)正被廣泛的應用于各個領域的數(shù)據(jù)分析中，隨著圖處理任務的增加，它們需要有效的應對多任務環(huán)境?，F(xiàn)有的圖處理系統(tǒng)一般針對單一任務設計，在執(zhí)行并行任務時存在圖數(shù)據(jù)的重復和數(shù)據(jù)訪問帶寬的競爭。
　　內(nèi)存模式圖處理系統(tǒng)節(jié)點間的交換數(shù)據(jù)為圖處理任務私有，執(zhí)行并行任務時對網(wǎng)絡帶寬的競爭是系統(tǒng)的瓶頸?，F(xiàn)有的外存模式圖處理系統(tǒng)可以避免網(wǎng)絡通信開銷，但是并行任務對圖數(shù)據(jù)訪問的不一致易造成I/O爭用，影響性能。通過對現(xiàn)有外存模式圖處理系統(tǒng)I/O

2、優(yōu)化方法的分析，提出了基于I/O去重、圖數(shù)據(jù)共享的數(shù)據(jù)訪問模型，從理論上論證了在面對并行任務時相對于傳統(tǒng)模型的優(yōu)勢與局限性。基于該模型，設計并實現(xiàn)了面向多任務環(huán)境的外存模式圖處理系統(tǒng) GraphDeSh。GraphDeSh通過對外存數(shù)據(jù)的統(tǒng)一訪問消除了I/O重復，通過共享緩存的設計平衡了并行任務執(zhí)行速度的差異，優(yōu)化了并行任務的數(shù)據(jù)等待時間。
　　使用不同的數(shù)據(jù)集和不同的算法組合測試了GraphDeSh的性能，驗證了基于I/O去重、