基于HDFS的數(shù)據(jù)安全保護(hù)機(jī)制研究.pdf

1、隨著數(shù)據(jù)成為一個(gè)重要的經(jīng)濟(jì)資源，它的安全性、隱私性和正確使用越來(lái)越重要。但是目前身份認(rèn)證，訪問(wèn)控制，異常檢測(cè)，安全信息和事件管理等國(guó)內(nèi)外主要的大數(shù)據(jù)安全與隱私的解決方案并沒(méi)有對(duì)數(shù)據(jù)的生命周期和用戶(hù)行為進(jìn)行精確的追蹤。溯源通過(guò)記錄數(shù)據(jù)產(chǎn)品的演變過(guò)程，形成能準(zhǔn)確表達(dá)數(shù)據(jù)特征和對(duì)象歷史的元數(shù)據(jù)，為數(shù)據(jù)密集系統(tǒng)中的復(fù)雜數(shù)據(jù)分析與理解提供結(jié)構(gòu)化的指導(dǎo)依據(jù)。
　　本文以數(shù)據(jù)庫(kù)系統(tǒng)和分布式文件系統(tǒng) HDFS為數(shù)據(jù)密集系統(tǒng)，數(shù)據(jù)庫(kù)文件表和 HDF

2、S文件為研究對(duì)象，在深入分析國(guó)內(nèi)外數(shù)據(jù)溯源系統(tǒng)和溯源模型，探討數(shù)據(jù)溯源在大數(shù)據(jù)溯源方面面臨的問(wèn)題與挑戰(zhàn)之后，提出將數(shù)據(jù)溯源應(yīng)用到大數(shù)據(jù)安全解決方案中，并設(shè)計(jì)了大數(shù)據(jù)溯源系統(tǒng)具體實(shí)現(xiàn)方案。
　　本文設(shè)計(jì)實(shí)現(xiàn)的大數(shù)據(jù)安全溯源系統(tǒng)分為溯源收集及其標(biāo)準(zhǔn)化、溯源壓縮、存儲(chǔ)中間件和可視化分析四個(gè)組件。溯源收集及其標(biāo)準(zhǔn)化組件針對(duì)不同的源數(shù)據(jù)系統(tǒng)，設(shè)計(jì)了兼容的標(biāo)準(zhǔn)數(shù)據(jù)采集格式；并實(shí)現(xiàn)了數(shù)據(jù)的遠(yuǎn)程安全采集，數(shù)據(jù)版本控制，以及源數(shù)據(jù)記錄到模型的完整映

3、射。溯源壓縮組件提出了基于語(yǔ)義的高效的壓縮算法解決元數(shù)據(jù)高效存儲(chǔ)的問(wèn)題。通過(guò)對(duì)數(shù)據(jù)系統(tǒng)的記錄特征進(jìn)行深入分析，識(shí)別無(wú)效數(shù)據(jù)的基本特征并進(jìn)行過(guò)濾，節(jié)省了數(shù)據(jù)空間；識(shí)別重復(fù)或相似操作的基本特征，對(duì)大量相似操作進(jìn)行了合并，在減輕系統(tǒng)存儲(chǔ)負(fù)載的同時(shí)，減輕了數(shù)據(jù)分析的復(fù)雜度，優(yōu)化了數(shù)據(jù)可視化的速度。存儲(chǔ)中間件組件設(shè)計(jì)了大數(shù)據(jù)溯源信息存儲(chǔ)的可擴(kuò)展方案，支持不同數(shù)據(jù)庫(kù)系統(tǒng)的接入，結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)之間的數(shù)據(jù)備份和遷移。可視化分析組件實(shí)現(xiàn)了大數(shù)據(jù)