分布式文件系統(tǒng)客戶端元數(shù)據(jù)緩存一致性的實(shí)現(xiàn)及優(yōu)化.pdf

1、隨著海量數(shù)據(jù)的產(chǎn)生，對(duì)數(shù)據(jù)的存儲(chǔ)和訪問性能要求越來越高。在分布式文件系統(tǒng)中，元數(shù)據(jù)訪問是數(shù)據(jù)訪問的必經(jīng)之路，并且在所有訪問中，元數(shù)據(jù)的訪問占了50％以上，因此提升元數(shù)據(jù)訪問的性能尤為重要。可以通過實(shí)現(xiàn)客戶端本地緩存技術(shù)提高元數(shù)據(jù)訪問性能，然而，確保多客戶端元數(shù)據(jù)緩存一致性是關(guān)鍵技術(shù)之一。由于一致性功能的實(shí)現(xiàn)必然會(huì)帶來一定開銷，導(dǎo)致性能降低，因此需要權(quán)衡一致性功能和性能，使用合適的優(yōu)化技術(shù)，保證文件系統(tǒng)緩存一致性功能的正確性以及一定的性能

2、。
　　基于Zookeeper服務(wù)器的一致性協(xié)調(diào)服務(wù)實(shí)現(xiàn)了授權(quán)鎖以保證元數(shù)據(jù)緩存一致性，并針對(duì)一致性功能帶來的性能降低的問題，從以下三個(gè)方面對(duì)系統(tǒng)進(jìn)行優(yōu)化：分析Zookeeper服務(wù)器請(qǐng)求處理過程，明確上鎖操作過程的性能瓶頸在于Zookeeper的磁盤IO操作，提出采用SSD來存儲(chǔ)Zookeeper上的數(shù)據(jù)，上鎖性能提高90%；針對(duì)Lustre文件系統(tǒng)的子樹鎖方案，提出一種目錄范圍鎖的優(yōu)化方案，批量獲得目錄下所有子文件的元數(shù)據(jù)緩存