社交網(wǎng)絡(luò)大數(shù)據(jù)分布式存儲系統(tǒng)優(yōu)化技術(shù)研究.pdf

1、隨著社交網(wǎng)絡(luò)圖片分享應(yīng)用的流行，社交網(wǎng)絡(luò)服務(wù)提供商存儲和傳輸大量圖片數(shù)據(jù)的挑戰(zhàn)更加艱難。為了有效的提升數(shù)據(jù)傳輸性能，服務(wù)提供商一般部署分布式緩存來解決問題。影響分布式緩存性能的因素有兩個，一個是服務(wù)器使用的存儲介質(zhì)，另一個是緩存系統(tǒng)使用的替換算法。由于固態(tài)硬盤能提供極高的吞吐率，目前分布式緩存經(jīng)常使用固態(tài)硬盤存儲數(shù)據(jù)。固態(tài)硬盤的寫放大會影響固態(tài)硬盤的隨機寫性能和使用壽命，寫放大的大小與緩存系統(tǒng)使用的替換算法有關(guān)。
　　經(jīng)過分析發(fā)現(xiàn)

2、，LRU算法能夠提升緩存的命中率，但同時引起嚴(yán)重的寫放大，F(xiàn)IFO算法能夠?qū)⒐虘B(tài)硬盤寫放大降到最低，但是FIFO的低命中率會增大帶寬開銷。針對上述問題，提出了一種新型的混合替換策略——F-SkLRU，這個算法能在性能和成本之間做一個折中。F-SkLRU通過擴大FIFO算法的替換單元進行批量的擦寫，每個替換單元保存大量數(shù)據(jù)，利用順序?qū)憗斫档凸虘B(tài)硬盤的寫放大。對替換單元中保存的數(shù)據(jù)進行訪問頻度統(tǒng)計，結(jié)合時間局部性和訪問頻度區(qū)分出冷熱數(shù)據(jù)，在