面向分布式內(nèi)存計算的緩存數(shù)據(jù)管理系統(tǒng).pdf

1、面對海量數(shù)據(jù)，利用圖計算或機器學習等具有迭代特征的復雜應用對其進行處理很常見。通過在迭代之間共享緩存數(shù)據(jù)，典型的分布式內(nèi)存計算系統(tǒng)如Spark極大地提升了迭代程序處理的速度，在業(yè)界使用廣泛。然而，在處理的數(shù)據(jù)量較大時緩存數(shù)據(jù)無法全部放入內(nèi)存，需要對緩存數(shù)據(jù)進行管理。迭代后期再次使用被置換的數(shù)據(jù)時需要進行重獲，此時引入的重獲開銷影響了性能。傳統(tǒng)的置換策略如LRU或FIFO沒有考慮到緩存數(shù)據(jù)重獲開銷之間存在差異，因而無法保證應用運行過程中整

2、體的重獲開銷最小。
　　實驗發(fā)現(xiàn)，在分布式內(nèi)存計算系統(tǒng)中，緩存數(shù)據(jù)的重獲開銷間存在著明顯的差異。因此提出并在Spark上實現(xiàn)了一種考慮了重獲開銷的緩存數(shù)據(jù)管理系統(tǒng)，來保證數(shù)據(jù)置換帶來的影響最小。首先，依據(jù)分布式系統(tǒng)中應用待執(zhí)行的邏輯是已知的、數(shù)據(jù)之間有聯(lián)系的特點，對執(zhí)行邏輯進行了分析得出了緩存數(shù)據(jù)之間的依賴關系；然后，定義了重獲開銷表征置換發(fā)生后重獲緩存數(shù)據(jù)所需的代價，定義了重用度表征緩存數(shù)據(jù)在程序后期再次使用到的次數(shù)，在執(zhí)行程序