內(nèi)容感知存儲系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究.pdf

1、隨著存儲系統(tǒng)智能化需求的不斷提高，越來越多的應用層功能開始融入存儲系統(tǒng)，例如自主管理，數(shù)據(jù)安全以及信息檢索等。傳統(tǒng)的存儲系統(tǒng)以塊級或?qū)ο蠹墧?shù)據(jù)處理為主，缺乏文件級信息，無法將信息生命周期管理（Information LifecycleManagement，ILM）功能融入存儲系統(tǒng)。遵循XAM（eXtensible Access Method）規(guī)范的內(nèi)容感知存儲（Content Aware Storage）系統(tǒng)，由于使用內(nèi)容元數(shù)據(jù)（Con

2、tentMetadata）對數(shù)據(jù)的文件級信息進行傳載，因此為ILM 融入存儲系統(tǒng)提供了基礎。研究ILM 融入內(nèi)容感知存儲系統(tǒng)過程中涉及的關(guān)鍵技術(shù)，圍繞著內(nèi)容元數(shù)據(jù)構(gòu)建信息整合、內(nèi)容分類、分級存儲、數(shù)據(jù)備份以及信息歸檔等ILM 數(shù)據(jù)處理階段。本研究主要內(nèi)容包括：
　　 ⑴提出并實現(xiàn)了一種基于內(nèi)容元數(shù)據(jù)的信息整合方法。針對ILM 數(shù)據(jù)處理需求制定了內(nèi)容元數(shù)據(jù)規(guī)范，包括內(nèi)容元數(shù)據(jù)的定義、提取、表示以及傳輸。以內(nèi)容元數(shù)據(jù)為基礎，從外在形

3、式和內(nèi)部語義兩方面實現(xiàn)了非結(jié)構(gòu)化信息數(shù)據(jù)的整合。設計并實現(xiàn)了支持內(nèi)容元數(shù)據(jù)規(guī)范的存儲系統(tǒng)原型，性能測試表明信息整合提高了數(shù)據(jù)預處理的速度，同時對存儲系統(tǒng)的平均I/O 性能影響極小。
　　 ⑵提出并實現(xiàn)了一種面向內(nèi)容元數(shù)據(jù)的信息分類算法。針對內(nèi)容元數(shù)據(jù)的分類特征數(shù)量少但語義質(zhì)量高的特性，構(gòu)造了一種基于特征詞集合的內(nèi)容元數(shù)據(jù)相似度計算模型。該模型根據(jù)訓練樣本中的特征詞集合構(gòu)造相似度矩陣，并通過對矩陣進行平滑運算計算特征詞之間的隱式相

4、關(guān)性，以此為基礎計算內(nèi)容元數(shù)據(jù)的特征矢量?；谔卣魇噶?，采用K-Means算法構(gòu)造數(shù)據(jù)分類器。性能測試表明，該算法比傳統(tǒng)的數(shù)據(jù)分類算法有著更高的精確度和互信息，并極大地降低了分類計算的時間。提出并實現(xiàn)了一種內(nèi)容元數(shù)據(jù)驅(qū)動的分級存儲模型，包括基于應用需求的分級存儲與基于成本需求的分級存儲。前者滿足信息在備份、歸檔、安全以及訪問控制等應用上的需求，后者側(cè)重于降低單位信息的存儲成本同時確保存儲系統(tǒng)的I/O 性能。提出了一種基于速率控制的自適應

5、數(shù)據(jù)遷移算法，將數(shù)據(jù)遷移I/O 對存儲系統(tǒng)正常I/O的影響降至最低。性能測試表明，內(nèi)容元數(shù)據(jù)驅(qū)動的分級存儲模型能有效滿足的信息數(shù)據(jù)的存儲需求，同時不影響存儲系統(tǒng)的整體性能。
　　 ⑶提出并實現(xiàn)了一種基于內(nèi)容特征的重復數(shù)據(jù)刪除算法。針對當前數(shù)據(jù)備份中重復數(shù)據(jù)刪除算法未考慮不同文件類型的內(nèi)容在比特值分布上的差異，采用候選邊界直方圖來表示文件類型的內(nèi)容特征，并在此基礎上對傳統(tǒng)重復數(shù)據(jù)刪除算法的關(guān)鍵參數(shù)進行優(yōu)化。算法以降低不同文件類型之

6、間的數(shù)據(jù)縮減率為代價，換取相同類型文件之間數(shù)據(jù)縮減率的提高。設計了一種支持變長數(shù)據(jù)塊高效存儲的文件系統(tǒng)TDFS。性能測試表明，該算法在特定數(shù)據(jù)集上對數(shù)據(jù)縮減率（Reduction Ratio）有較大提高。
　　 ⑷提出并實現(xiàn)了一種基于內(nèi)容元數(shù)據(jù)的信息歸檔模型。通過引入支持OAIS（OpenArchival Information System）歸檔規(guī)范的內(nèi)容元數(shù)據(jù)標簽，實現(xiàn)信息的邏輯保存。提出一種基于磁盤的軟件WORM（Writ

7、e Once Read Many）模型，通過修改磁盤功能劃分以及對iSCSI 命令的響應行為，實現(xiàn)信息的物理保存。通過對歸檔文件加密并在保存逾期后銷毀密鑰，實現(xiàn)了信息的安全銷毀，同時提出了一種基于時間窗口的密鑰管理機制降低密鑰管理復雜度。性能測試表明，基于內(nèi)容元數(shù)據(jù)的信息歸檔模型能有效滿足歸檔信息的功能需求與性能需求。
　　 ⑸實驗表明，內(nèi)容感知存儲系統(tǒng)能有效解決傳統(tǒng)存儲系統(tǒng)中缺乏文件級語義的問題，通過以內(nèi)容元數(shù)據(jù)為核心來構(gòu)建I