非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲平臺的設計與實現(xiàn).pdf

1、當今互聯(lián)網(wǎng)上的數(shù)據(jù)正在呈現(xiàn)出迅速增長的發(fā)展趨勢，這種趨勢不僅僅體現(xiàn)在數(shù)據(jù)的數(shù)量上，同時也體現(xiàn)在數(shù)據(jù)的種類上。從傳統(tǒng)的文本數(shù)據(jù)到如今的網(wǎng)絡文檔、圖片、音頻以及視頻，互聯(lián)網(wǎng)數(shù)據(jù)的主流逐漸從結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變?yōu)榉墙Y(jié)構(gòu)數(shù)據(jù)，而這些日益增長并種類繁多的非結(jié)構(gòu)化數(shù)據(jù)，為互聯(lián)網(wǎng)數(shù)據(jù)的存儲管理帶來了新的挑戰(zhàn)。
　　 本文首先研究了針對各類海量非結(jié)構(gòu)化數(shù)據(jù)的存儲問題所提出的解決方案，分析出各存儲系統(tǒng)所存在的問題，從而總結(jié)出實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲的關

2、鍵問題。
　　 然后，針對具有海量、異構(gòu)、關聯(lián)等特征的非結(jié)構(gòu)化數(shù)據(jù)的存儲問題，提出了非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲管理平臺D-Ocean Repository，通過解決元數(shù)據(jù)管理、統(tǒng)一數(shù)據(jù)接口、異構(gòu)存儲以及數(shù)據(jù)的高可用性與一致性等關鍵問題，融合了HDFS，HBase，MySQL，XMLDB等各類存儲設施，并通過異構(gòu)存儲設施的選擇機制，解決各類數(shù)據(jù)的高效混合存儲問題。
　　 同時，基于統(tǒng)一存儲平臺，本文設計并實現(xiàn)了一個非結(jié)構(gòu)數(shù)據(jù)的批