基于存儲測試的大容量數(shù)據(jù)處理技術(shù)研究.pdf

1、在存儲測試領(lǐng)域中，為了獲得更高的數(shù)據(jù)測量精度，數(shù)據(jù)采集與存儲系統(tǒng)的數(shù)據(jù)采集時間越來越長、數(shù)據(jù)采樣率越來越大，因而采集存儲的數(shù)據(jù)容量也越來越大，有的數(shù)據(jù)容量甚至達到幾百個G，采集存儲的數(shù)據(jù)文件里的通道數(shù)目也越來越多，有的通道數(shù)目甚至達到幾千個，采集存儲的數(shù)據(jù)文件的數(shù)目也越來越多，有的數(shù)據(jù)文件的數(shù)目甚至達到幾千個。傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)不能滿足對大容量數(shù)據(jù)的處理要求，所以對大容量數(shù)據(jù)處理技術(shù)的研究變的至關(guān)重要，它是研發(fā)能針對大容量數(shù)據(jù)進行處

2、理的數(shù)據(jù)處理軟件的前提條件。
　　本文首先對多個存儲測試系統(tǒng)進行分析，得出存儲測試領(lǐng)域中數(shù)據(jù)處理軟件的常規(guī)功能，然后對這些常規(guī)功能涉及到的大容量數(shù)據(jù)處理難題進行技術(shù)方法研究，也是本文的研究重點:用內(nèi)存映射文件技術(shù)代替分塊讀取數(shù)據(jù)技術(shù)讀取大容量數(shù)據(jù)，以提高大容量數(shù)據(jù)的讀取效率;對數(shù)據(jù)可視化的等距抽點算法進行改進，提出了塊內(nèi)數(shù)據(jù)分析算法，以精確捕獲瞬態(tài)數(shù)據(jù)和優(yōu)化數(shù)據(jù)顯示;用文件索引定位方法代替遍歷文件名稱方法查找目標數(shù)據(jù)文件，以提高目

3、標數(shù)據(jù)文件的查找效率;用基于Windows API函數(shù)的多線程技術(shù)代替基于MSComm控件的中斷服務(wù)方式進行大容量數(shù)據(jù)的采樣讀數(shù)，既解決了大容量數(shù)據(jù)采樣讀數(shù)過程中數(shù)據(jù)丟失的問題，又提高了系統(tǒng)效率;用粗糙懲罰算法代替五點三次平滑算法對大容量數(shù)據(jù)進行平滑，改善了大容量數(shù)據(jù)的平滑效果。
　　最后，采用LabVIEW編程語言作為軟件的開發(fā)平臺，從軟件工程的角度出發(fā)，將大容量數(shù)據(jù)處理技術(shù)應(yīng)用到車輛測試軟件的研發(fā)中。采用“白盒測試”和“黑盒測