海量數(shù)據(jù)分布式存儲與安全保護(hù)研究.pdf

1、隨著云時代的來臨，大數(shù)據(jù)(Big data)也吸引了越來越多的關(guān)注，數(shù)據(jù)正在迅速膨脹并變無窮大，但是隨著時間的推移，人們將越來越多的意識到數(shù)據(jù)的重要性，如何安全、高效地存儲越來越多的大數(shù)據(jù)(Big Data)正是亟待解決的問題。把分散在各地不使用的資源集中起來使用，采用分布式存儲數(shù)據(jù)是切實(shí)有效的方式。但是在采用分布式數(shù)據(jù)和信息存儲的方式中存儲的數(shù)據(jù)的不安全因素也會隨之增加，所以如何保證在分布式計(jì)算平臺中的數(shù)據(jù)安全與保護(hù)成為我們當(dāng)今重要的

2、研究課題。同時，對分布式數(shù)據(jù)和信息存儲的研究也可以被應(yīng)用到如火如荼的云存儲領(lǐng)域，因此具有相當(dāng)廣闊的理論研究意義和實(shí)踐應(yīng)用價值。
　　有鑒于此，本文針對于分布式數(shù)據(jù)和信息存儲的安全策略研究，從數(shù)據(jù)的存取模式考慮，設(shè)計(jì)一種針對于分布平臺的、適用于大數(shù)據(jù)(Big Data)的存儲模型及查詢機(jī)制，同時能夠提供數(shù)據(jù)共享完整性校驗(yàn)功能。
　　論文首先結(jié)合開源的Hadoop分布式數(shù)據(jù)文件系統(tǒng)HDFS的架構(gòu)和原理，以及對稱加密算法和公鑰密碼

3、體制，提出了一種基于HDFS的分布式數(shù)據(jù)安全存儲模型。該模型采用HDFS和XML格式分別作為數(shù)據(jù)文件的存儲環(huán)境和物理結(jié)構(gòu)，不僅可以解決大數(shù)據(jù)(Big Data)的存儲問題，而且還提供了對數(shù)據(jù)文件的數(shù)據(jù)訪問控制(DAC)，實(shí)驗(yàn)結(jié)果分析了數(shù)據(jù)加解密的時間和在分布式數(shù)據(jù)文件系統(tǒng)中數(shù)據(jù)上傳、下載的帶寬性能。
　　第二，分布式數(shù)據(jù)文件共享存儲為了保證數(shù)據(jù)的安全保護(hù)，有必要進(jìn)行周期性的密鑰修改，提供有效的密鑰管理方法。研究了Chebyshev

4、多項(xiàng)式的周期性和LKH密鑰樹的密鑰管理特點(diǎn)，提出了一種基于Chebyshev多項(xiàng)式和LKH密鑰樹的周期性組播密鑰修改方法。該方法比較適合于分布式大數(shù)據(jù)(BigData)平臺的密鑰修改，與原始LHK方法相比，在效率和安全上有所提高。
　　第三，研究了BloomFilter算法和MapReduce編程方式的相關(guān)概念和平臺。采用BloomFilter和分布式MapReduce編程方式相結(jié)合的方法來提高密文查詢的性能，同時在原始Bloom