分布式數(shù)據(jù)存儲(chǔ)和處理的若干技術(shù)研究.pdf

1、在數(shù)字信息量激增、網(wǎng)絡(luò)迅猛發(fā)展、軟硬件價(jià)格低廉、人力成本顯著上升這幾大背景之下，傳統(tǒng)文件系統(tǒng)已經(jīng)很難滿足新形勢(shì)下的數(shù)據(jù)管理需求，而“高效的數(shù)據(jù)管理方式”，“高質(zhì)量的存儲(chǔ)服務(wù)”以及“存儲(chǔ)優(yōu)化和自治”廣受關(guān)注。以這三個(gè)發(fā)展方向?yàn)槌霭l(fā)點(diǎn)，本文全面介紹了存儲(chǔ)管理系統(tǒng)、海量分布式存儲(chǔ)技術(shù)、以及存儲(chǔ)優(yōu)化方面的一系列相關(guān)工作，總結(jié)了這些領(lǐng)域的研究現(xiàn)狀和發(fā)展趨勢(shì)，同時(shí)指出了現(xiàn)有工作的不足之處。結(jié)合相關(guān)領(lǐng)域的最新成果，針對(duì)其不足之處，本文提出擁有一定自治

2、能力的，分布式數(shù)據(jù)存儲(chǔ)和管理系統(tǒng)框架，研究存儲(chǔ)管理系統(tǒng)的體系結(jié)構(gòu)，以及查詢檢索、分布式存儲(chǔ)和系統(tǒng)優(yōu)化等各方面的關(guān)鍵技術(shù)。 本文首先給出一種基于數(shù)據(jù)相關(guān)的存儲(chǔ)數(shù)據(jù)模型，定義了對(duì)象、相關(guān)關(guān)系等基本概念，提出基于數(shù)據(jù)相關(guān)的瀏覽和檢索模型，并給出數(shù)據(jù)檢索語(yǔ)言，介紹了查詢執(zhí)行過(guò)程。在此基礎(chǔ)之上，從分布式存儲(chǔ)，查詢和檢索，相關(guān)檢測(cè)和系統(tǒng)優(yōu)化這三個(gè)子系統(tǒng)詳細(xì)描述了系統(tǒng)體系結(jié)構(gòu)。 在分布式存儲(chǔ)方面，結(jié)合對(duì)等存儲(chǔ)技術(shù)和對(duì)象存儲(chǔ)技術(shù)，提出一

3、種基于容器的分布式對(duì)象存儲(chǔ)系統(tǒng)。首先給出基于容器的存儲(chǔ)模型，模型以容器作為數(shù)據(jù)定位和復(fù)制的最小單元，把存儲(chǔ)空間管理、數(shù)據(jù)塊分配等底層功能交由容器負(fù)責(zé)，減少系統(tǒng)維護(hù)代價(jià)，提高系統(tǒng)可伸縮性。介紹了模型中對(duì)象、容器、對(duì)象池等基本概念，并描述了集群體系架構(gòu)。接下來(lái)介紹了系統(tǒng)的運(yùn)行時(shí)元數(shù)據(jù)，提出基于對(duì)等覆蓋網(wǎng)絡(luò)的自組織元數(shù)據(jù)維護(hù)和容錯(cuò)方案。最后提出了基于動(dòng)態(tài)主本的容器復(fù)制技術(shù)，給出了基于容器狀態(tài)的對(duì)象訪問(wèn)，以及復(fù)本一致性保障和恢復(fù)算法。

4、圖最短距離索引是存儲(chǔ)管理系統(tǒng)查詢和檢索的核心數(shù)據(jù)結(jié)構(gòu)之一，然而已有索引方法或者創(chuàng)建時(shí)間過(guò)長(zhǎng)，或者查詢效率不足。針對(duì)以上不足，創(chuàng)新地提出了具有常數(shù)查詢時(shí)間的索引DIX-C和基于兩跳覆蓋的索引DIX-2HC，及其無(wú)向圖變種，并在圖索引的基礎(chǔ)之上，研究了基于區(qū)間編碼的相關(guān)連接算法。首先，在介紹了一些基本概念和重要數(shù)據(jù)結(jié)構(gòu)之后，給出并證明了最短距離計(jì)算公式。接下來(lái)，詳細(xì)介紹了關(guān)鍵數(shù)據(jù)結(jié)構(gòu)的計(jì)算算法，并描述了各種索引的創(chuàng)建和查詢算法。然后，利用距

5、離索引和區(qū)間編碼，提出了基于樹編碼的相關(guān)連接算法。最后，通過(guò)大量實(shí)驗(yàn)考察了索引創(chuàng)建性能、查詢性能和空間代價(jià)，以及相關(guān)連接的性能，實(shí)驗(yàn)結(jié)果表明DIX-C和DIX-2HC算法具有相當(dāng)?shù)男阅軆?yōu)勢(shì)，相關(guān)連接的效率較高。 在訪問(wèn)相關(guān)檢測(cè)和系統(tǒng)優(yōu)化方面，一方面，現(xiàn)有相關(guān)檢測(cè)算法通常依賴支持度保證算法性能，這勢(shì)必造成大量有價(jià)值的訪問(wèn)相關(guān)被遺漏，另一方面，現(xiàn)有算法無(wú)法檢測(cè)跨服務(wù)器的訪問(wèn)相關(guān)，而且性能不足以應(yīng)用到分布式系統(tǒng)中。針對(duì)以上不足，創(chuàng)新性

6、地提出了一系列無(wú)支持限制的訪問(wèn)相關(guān)挖掘算法，這些算法把相關(guān)度(置信度)作為訪問(wèn)相關(guān)的主要衡量標(biāo)準(zhǔn)，能夠檢測(cè)支持度較低但是相關(guān)度較高的訪問(wèn)相關(guān)。首先，給出訪問(wèn)相關(guān)的定義和衡量標(biāo)準(zhǔn)。之后，描述了無(wú)支持度限制單機(jī)挖掘算法HCM和VCM然后，我們提出了基于k最小隨機(jī)向量和哈希指紋連接的分布式并行挖掘算法PFC-Miner，實(shí)驗(yàn)結(jié)果說(shuō)明本文提出的挖掘算法具有較好的性能和實(shí)用性，挖掘出來(lái)的訪問(wèn)相關(guān)能夠大大提高緩存命中率。 在內(nèi)容相關(guān)檢測(cè)和系