結(jié)構(gòu)化存儲系統(tǒng)中元數(shù)據(jù)集群的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著技術(shù)的發(fā)展與信息數(shù)字化的推進(jìn)，大量的數(shù)據(jù)需要被永久存儲，而且存儲的容量也呈指數(shù)上升。在海量數(shù)據(jù)的時代，如何有效存儲大規(guī)模數(shù)據(jù)，并且提供常用接口是一個研究的熱點(diǎn)。結(jié)構(gòu)化數(shù)據(jù)發(fā)展多年，形成了大家都易于接受的接口和一系列標(biāo)準(zhǔn)，但是關(guān)系型數(shù)據(jù)其存儲容量的限制使得它很難適應(yīng)海量數(shù)據(jù)的需求。本文通過對分布式存儲技術(shù)的分析研究，結(jié)合當(dāng)前的主流存儲相關(guān)的產(chǎn)品的設(shè)計(jì)思路與應(yīng)用需求，提出了海量結(jié)構(gòu)化數(shù)據(jù)存儲的一套合理的解決方案，并且實(shí)現(xiàn)了一個結(jié)構(gòu)化存儲

2、系統(tǒng)。系統(tǒng)利用分布式思想，將結(jié)構(gòu)化數(shù)據(jù)分拆成很多分片，各個分片獨(dú)立存儲在不同的存儲節(jié)點(diǎn)之上，充分利用各個節(jié)點(diǎn)的存儲資源。
　　本研究主要內(nèi)容包括：⑴結(jié)構(gòu)化存儲系統(tǒng)的設(shè)計(jì)，利用分布式思想，將系統(tǒng)分別部署在多個節(jié)點(diǎn)之上，然后將對數(shù)據(jù)的操作分割成多個相互較為獨(dú)立的子過程，然后由各個獨(dú)立部署的服務(wù)節(jié)點(diǎn)完成相應(yīng)的功能。⑵系統(tǒng)元數(shù)據(jù)集群的設(shè)計(jì)實(shí)現(xiàn)。使用集群技術(shù)來存儲海量的元數(shù)據(jù)信息，以滿足整個系統(tǒng)的存儲需求，利用Epoll非阻塞的通信技術(shù)提高

3、系統(tǒng)的網(wǎng)絡(luò)吞吐量，避免由于元數(shù)據(jù)集群的讀寫性能成為制約整個系統(tǒng)性能的瓶頸。同時實(shí)現(xiàn)集群內(nèi)部的負(fù)載均衡調(diào)度，根據(jù)集群本身的特點(diǎn)，通過集中式的調(diào)度管理策略來實(shí)現(xiàn)整個集群內(nèi)部的訪問熱點(diǎn)和存儲的負(fù)載均衡。⑶系統(tǒng)元數(shù)據(jù)集群的容錯設(shè)計(jì)實(shí)現(xiàn)。為元數(shù)據(jù)集群設(shè)計(jì)副本冗余和雙機(jī)熱備冗余相結(jié)合的容錯方案，其中對調(diào)度節(jié)點(diǎn)實(shí)現(xiàn)雙機(jī)熱備冗余的容錯系統(tǒng)，對存儲節(jié)點(diǎn)實(shí)現(xiàn)多副本控制的容錯方案，提高集群的可靠性和健壯性。通過功能測試和壓力測試的數(shù)據(jù)表明，整個結(jié)構(gòu)化存儲系統(tǒng)