內(nèi)容感知存儲(chǔ)系統(tǒng)中的信息檢索關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)的日益發(fā)展,信息資源呈現(xiàn)出爆炸性增長的態(tài)勢。數(shù)字資源的急劇增長導(dǎo)致有效數(shù)據(jù)通常被淹沒在信息海洋之中,單靠人工或傳統(tǒng)查詢工具將很難迅速定位所需信息。由于信息檢索技術(shù)可從大規(guī)模信息系統(tǒng)中快速、準(zhǔn)確、全面地獲取有效信息,因此它被認(rèn)為是解決上述問題的最佳途徑?，F(xiàn)有研究圍繞著提高存儲(chǔ)系統(tǒng)智能化程度、增強(qiáng)異構(gòu)信息檢索能力和提升查詢結(jié)果相關(guān)性等方面展開,但是存儲(chǔ)與查詢功能的相對獨(dú)立使得存儲(chǔ)系統(tǒng)很難理解所存內(nèi)容、并依據(jù)感知到的信息進(jìn)行查詢優(yōu)

2、化操作。為了將信息檢索領(lǐng)域中的相關(guān)技術(shù)移植并應(yīng)用于存儲(chǔ)領(lǐng)域,在研究內(nèi)容感知存儲(chǔ)系統(tǒng)架構(gòu)的基礎(chǔ)上,探討了該系統(tǒng)中的信息組織、索引和檢索機(jī)制,從系統(tǒng)結(jié)構(gòu)角度提供了一種有效融合存儲(chǔ)與檢索功能的整體解決方案。
　　為解決存儲(chǔ)系統(tǒng)缺乏內(nèi)容感知能力的問題,設(shè)計(jì)了一種跨越存儲(chǔ)棧的信息擴(kuò)展與傳遞機(jī)制。該機(jī)制根據(jù)應(yīng)用層的具體需求抽取上層語義信息并作為擴(kuò)展信息保存,然后在傳統(tǒng)的數(shù)據(jù)I/O通道上擴(kuò)展元數(shù)據(jù)I/O通道實(shí)現(xiàn)擴(kuò)展信息的傳遞,存儲(chǔ)系統(tǒng)通過解析此

3、類擴(kuò)展信息獲取語義內(nèi)容,進(jìn)而實(shí)現(xiàn)在存儲(chǔ)系統(tǒng)內(nèi)部感知和使用上層信息以優(yōu)化系統(tǒng)整體性能的目的。在該擴(kuò)展傳遞機(jī)制的基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了內(nèi)容感知網(wǎng)絡(luò)存儲(chǔ)原型系統(tǒng)。
　　為充分利用存儲(chǔ)系統(tǒng)感知到的各類信息,為使用者提供高效、便捷的查詢服務(wù),提出了內(nèi)容感知網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中的兩階段檢索策略。由于存儲(chǔ)系統(tǒng)中的查詢需求主要來自系統(tǒng)管理員對元數(shù)據(jù)的查詢,以及普通用戶對關(guān)鍵字內(nèi)容的查詢。這兩類查詢通過對元數(shù)據(jù)和關(guān)鍵字分別建立索引來提升系統(tǒng)查詢速度,但存儲(chǔ)系

4、統(tǒng)自身所具備的特性并沒有被用于優(yōu)化上述查詢過程。所提出的兩階段檢索策略將基于元數(shù)據(jù)和關(guān)鍵字的查詢與底層存儲(chǔ)系統(tǒng)的塊相似性查詢相結(jié)合,提升了系統(tǒng)的整體查詢效率。
　　為有效衡量索引優(yōu)化操作對系統(tǒng)性能的影響,提出了基于分級(jí)存儲(chǔ)的索引分割機(jī)制及開銷模型。隨著存儲(chǔ)系統(tǒng)中信息量的不斷增大索引所消耗的空間也在同步增長,有些索引在生成之后幾乎不會(huì)被檢索到,因此并非所有索引都擁有相同的訪問頻率。據(jù)此索引優(yōu)化算法按照訪問頻率對索引進(jìn)行分割和分級(jí)存儲(chǔ)

5、,將不常用的索引存放到低速存儲(chǔ)設(shè)備上以節(jié)約成本,并分析了索引分割對查詢命中率、索引空間開銷以及查詢時(shí)間所造成的影響。
　　為滿足用戶對于相似性查詢的需求,提出了基于內(nèi)容哈希的數(shù)據(jù)相關(guān)圖構(gòu)建方法。由于存儲(chǔ)系統(tǒng)通常采用層次結(jié)構(gòu)來組織和管理數(shù)據(jù),這種層次化設(shè)計(jì)思想通過標(biāo)準(zhǔn)的接口在各層間傳遞特定的信息,它隱藏了每一層所不必關(guān)心的信息,但也約束和限制了擴(kuò)展信息在各個(gè)層次間的自由流動(dòng)。所提出的數(shù)據(jù)相關(guān)圖構(gòu)建方法以存儲(chǔ)系統(tǒng)中的重復(fù)數(shù)據(jù)塊為橋梁,

6、通過打破層次壁壘在多層信息之間建立起聯(lián)系,生成具備全局特征的完整數(shù)據(jù)相關(guān)圖,為將信息檢索領(lǐng)域的相關(guān)理論引入存儲(chǔ)系統(tǒng)奠定了基礎(chǔ)。
　　為解決用戶查詢請求過于寬泛或精細(xì)時(shí)無法得到預(yù)期查詢結(jié)果的問題,結(jié)合數(shù)據(jù)相關(guān)圖對兩階段查詢機(jī)制中的排序算法進(jìn)行改進(jìn),提出了塊相似性度量算法。該算法將信息檢索中網(wǎng)頁排序算法的核心思想引入存儲(chǔ)系統(tǒng),以重復(fù)數(shù)據(jù)刪除計(jì)算所得到的重復(fù)數(shù)據(jù)塊作為生成數(shù)據(jù)相關(guān)圖和衡量數(shù)據(jù)相關(guān)度的依據(jù),改進(jìn)了現(xiàn)有的相似查詢和相關(guān)度計(jì)算