基于對象的主動存儲關鍵技術研究.pdf

1、隨著計算機和互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡存儲應用現(xiàn)了一些新特點：數(shù)據(jù)總量爆炸性增長的趨勢越來越快，存儲管理和維護的自動化和智能化程度要求越來越高，多平臺的互操作性和數(shù)據(jù)共享能力越來越重要。網(wǎng)絡存儲正發(fā)生著革命性的變化，基于對象的存儲應運而生。基于對象的存儲將存儲接口作了根本性的改變，提出了對象接口，由此克服了塊接口與文件接口的缺陷，使得對象存儲系統(tǒng)在安全性，數(shù)據(jù)共享，可擴展性及性能等方面能做到最好的折中。對象接口訪問的基本單位是對象，對象除了

2、包含用戶數(shù)據(jù)外，還包含能描述對象特征的屬性。通過在用戶和設備之間傳遞對象屬性信息，對象接口比其他接口具有更為豐富的語義表達能力。 隨著電子技術的發(fā)展，存儲設備上已嵌入了越來越多的處理能力，上層應用的部分功能可以遷往設備（即“主動存儲”的概念）。目前廣泛流行的存儲設備是“啞設備”，只能被動地響應用戶的請求，隨著設備功能越來越復雜，傳統(tǒng)的對設備透明的管理方式已很難勝任。人們迫切需要一種設備參與在內(nèi)、更簡單靈活的方式來管理，而主動存儲

3、能很好地滿足這些應用的需求。另外，由于硬磁盤本身機械運動的本質(zhì)特征沒有明顯改變，在網(wǎng)絡存儲條件下網(wǎng)絡延遲不能忽略，特別是網(wǎng)絡共享跨越了廣域網(wǎng)，如何提高處理節(jié)點和存儲節(jié)點間的數(shù)據(jù)傳輸速率成為當前提高系統(tǒng)整體性能的關鍵因素。主動存儲系統(tǒng)能夠在很大程度上解決該項難題?？梢哉f主動存儲系統(tǒng)代表著將計算向數(shù)據(jù)移近的發(fā)展方向。但在對象接口出現(xiàn)之前，原有設備使用的接口是一種簡單透明的接口，這妨礙了設備端和用戶端的任務合作。對象接口的出現(xiàn)加速了主動存儲的

4、發(fā)展進程，主動存儲可以利用富于表達力的對象接口將更多的信息在設備端和用戶端之間傳遞。可以說對象存儲與主動存儲的結(jié)合將是未來存儲界領先的技術之一。 基于對象的主動存儲系統(tǒng)（OBASS）結(jié)合了對象接口與主動存儲的優(yōu)點，主動存儲將建立在對象基礎上，所有信息都以對象的形式出現(xiàn)。OBASS的基礎是基于對象的存儲設備（OSD），在軟件層次上，OSD主要分為三層：對象層、主動服務層以及存儲質(zhì)量控制層。對象層統(tǒng)一管理所有對象，負責對象的磁盤數(shù)據(jù)

5、組織（包括磁盤內(nèi)對象數(shù)據(jù)布局和磁盤間的對象放置）。主動服務層實現(xiàn)了主動存儲功能，上層應用把功能模塊下載到OSD中后作為特殊的對象（方法對象），由對象層存儲與管理，由主動服務層調(diào)度方法對象執(zhí)行。存儲服務質(zhì)量控制層對所有層次模塊的執(zhí)行過程施加影響，使OSD在不同的負載狀況下能滿足不同用戶的對象讀寫QoS要求。 磁盤內(nèi)的對象數(shù)據(jù)組織即對象文件系統(tǒng)，其中一個重要的特性是性能的持久性，即對象文件系統(tǒng)在長期的使用的過程中，經(jīng)歷了頻繁的對象創(chuàng)

6、建、刪除和寫操作后，其性能仍然能夠維持在較高水平。性能持久性是通過柔性空閑空間管理和分配粒度可變的漸近空間分配策略實現(xiàn)的。 磁盤間的對象放置策略研究對象在多個磁盤間的放置，使得整個系統(tǒng)性能達到最優(yōu)，負載得以均衡。不同的應用放置策略是不同的，對于流媒體應用，適用的放置策略是基于阻塞概率模型的放置策略；而對于事務處理，基于響應時間模型的放置策略更合適。對象放置策略應能運用于在線環(huán)境，但在線運行時負載特點是無法事先預料的，利用OSD的

7、智能性及對象的屬性，對象放置策略可對負載的特征進行自主學習，并根據(jù)學習的結(jié)果指導對象放置。 為實現(xiàn)基于對象的主動存儲，首先對現(xiàn)有的T10 OSD標準進行修改，擴充對象概念引入方法對象使其支持主動存儲。方法對象的執(zhí)行有兩種方式：一種是外界用戶的請求觸發(fā)執(zhí)行，另一種是條件滿足時的策略觸發(fā)執(zhí)行。主動服務層建立了統(tǒng)一的框架，把這兩種方法的調(diào)度機制有效結(jié)合起來，支持計算任務與管理任務向OSD遷移。方法的執(zhí)行機制是主動存儲的核心，針對過濾型

8、方法和服務型方法這兩類不同方法，分別提出了在Linux系統(tǒng)下的實現(xiàn)機制。為評估主動存儲的效能，將這兩類方法分別運用于兩種不同應用：OSDFS文件系統(tǒng)及對象存儲系統(tǒng)的負載均衡。在OSDFS中，兩種常規(guī)操作lookup和unlink作為過濾型方法下放到OSD中，分析表明，這可以大大減少網(wǎng)絡延遲和內(nèi)存拷貝。而負載均衡算法可以作為服務型方法運行在OSD中，實驗表明，啟用對象復制和對象遷移的負載均衡算法能最大程度地減少平均系統(tǒng)響應度。 存

9、儲服務質(zhì)量控制分三個層次實現(xiàn)QoS：上層調(diào)度器實現(xiàn)對象請求調(diào)度，從對象級保證QoS；中層調(diào)度器實現(xiàn)對象預處理，與對象文件系統(tǒng)及緩存結(jié)合，對于對象讀，通過對象的預取，對于對象寫，通過頁面預分配、延遲空間分配及延遲寫保障對象讀寫的QoS；而下層調(diào)度器與Linux I/O子系統(tǒng)中的塊I/O調(diào)度器結(jié)合，綜合考慮帶優(yōu)先級的實時負載以及非實時負載的調(diào)度，即考慮I/O請求的時限，磁頭定位時間和優(yōu)先級三個因素在內(nèi)的I/O調(diào)度。將OSD的QoS調(diào)度模塊（