科學(xué)計(jì)算時(shí)變數(shù)據(jù)集的數(shù)據(jù)挖掘算法研究.pdf

1、在數(shù)十萬(wàn)億次以上規(guī)模的高性能計(jì)算機(jī)上，高性能科學(xué)計(jì)算的數(shù)值模擬可能輸出大規(guī)模時(shí)變數(shù)據(jù)集。這些數(shù)據(jù)集由數(shù)據(jù)子集序列構(gòu)成，數(shù)據(jù)總量可能達(dá)到十億字節(jié)(GB)至萬(wàn)億字節(jié)(TB)，每個(gè)數(shù)據(jù)子集表示物理問(wèn)題在某個(gè)時(shí)刻的數(shù)值離散解。面對(duì)如此大規(guī)模的時(shí)變數(shù)據(jù)集，如何快速地開(kāi)展物理分析，去偽存真，將數(shù)據(jù)轉(zhuǎn)化為知識(shí)，進(jìn)而發(fā)現(xiàn)新的物理現(xiàn)象、揭示新的物理規(guī)律、探索新的物理機(jī)制，是科學(xué)計(jì)算研究的重要一環(huán)。
　　在傳統(tǒng)可視化分析的基礎(chǔ)上，為了提高物理分析的效

2、率，可以采用數(shù)據(jù)挖掘算法。這些算法基于已知的物理知識(shí)來(lái)標(biāo)識(shí)重要的物理時(shí)刻和局部興趣區(qū)域，發(fā)現(xiàn)物理量間的相關(guān)性，可以成為物理分析的關(guān)鍵支撐技術(shù)。但是，現(xiàn)有的商業(yè)數(shù)據(jù)挖掘算法均難以適應(yīng)，因?yàn)樗鼈兺ǔａ槍?duì)各種屬性的關(guān)聯(lián)規(guī)則，不能適應(yīng)于數(shù)值型數(shù)據(jù)。因此，有必要開(kāi)展系統(tǒng)深入的科學(xué)計(jì)算時(shí)變數(shù)據(jù)集的數(shù)據(jù)挖掘算法研究。
　　對(duì)科學(xué)計(jì)算時(shí)變數(shù)據(jù)集而言，數(shù)據(jù)挖掘至少可以實(shí)現(xiàn)三個(gè)方面的功能。第一，比較任意兩個(gè)相鄰時(shí)刻的數(shù)據(jù)子集的相似度;第二，標(biāo)定可能蘊(yùn)

3、含豐富知識(shí)的局部計(jì)算區(qū)域和時(shí)間步;第三，判斷任意兩個(gè)物理量之間的相關(guān)程度。這三個(gè)方面的研究對(duì)物理分析有重要意義，它可以在大規(guī)?？茖W(xué)計(jì)算時(shí)變數(shù)據(jù)集中，迅速挑出蘊(yùn)含重要物理特征的時(shí)刻或者子區(qū)域，發(fā)現(xiàn)物理量之間的線性或非線性相關(guān)性，可以提高數(shù)據(jù)分析的速度與效率，降低分析的難度。
　　信息熵理論是一門利用數(shù)理統(tǒng)計(jì)方法研究信息度量的科學(xué)。它不依賴于數(shù)據(jù)的維數(shù)、空間位置、單位等信息，能對(duì)數(shù)據(jù)的內(nèi)在特征進(jìn)行定量表征，可以用于描述科學(xué)計(jì)算時(shí)變數(shù)據(jù)

4、集中所蘊(yùn)含的信息，而這些正是找出蘊(yùn)含潛在有用信息的時(shí)刻或子區(qū)域所需要的。因此，信息熵理論可以作為數(shù)據(jù)挖掘的基礎(chǔ)。
　　本課題基于信息熵理論，針對(duì)科學(xué)計(jì)算時(shí)變數(shù)據(jù)集物理分析對(duì)數(shù)據(jù)挖掘提出的三個(gè)方面的需求，緊密圍繞時(shí)變數(shù)據(jù)集序列約減、變化檢測(cè)和物理量非線性相關(guān)性的檢測(cè)算法三個(gè)方面開(kāi)展研究，取得了如下創(chuàng)新的研究成果:
　　(1)針對(duì)科學(xué)計(jì)算時(shí)變數(shù)據(jù)集，分析了信息度量應(yīng)用于數(shù)據(jù)挖掘的可行性，并提出了科學(xué)計(jì)算時(shí)變數(shù)據(jù)集的非均勻直方圖構(gòu)

5、建算法。該算法通過(guò)迭代得到科學(xué)數(shù)據(jù)集的概率分布，具有較好的自適應(yīng)性。
　　(2)提出了時(shí)變數(shù)據(jù)集序列的子集約減數(shù)據(jù)挖掘算法。該算法采用關(guān)聯(lián)信息測(cè)度度量算法來(lái)度量數(shù)據(jù)子集間的相關(guān)性，僅存儲(chǔ)相關(guān)程度低的數(shù)據(jù)子集。這些子集已經(jīng)蘊(yùn)含了時(shí)變數(shù)據(jù)集序列的重要物理特征。于是，可以大幅降低數(shù)據(jù)集的存儲(chǔ)空間，提高物理分析的效率。具體應(yīng)用于激光與等離子體相互作用模擬，獲得了滿意的數(shù)據(jù)挖掘結(jié)果。
　　(3)基于交互信息距離，提出了時(shí)變數(shù)據(jù)集序列的

6、變化檢測(cè)數(shù)據(jù)挖掘算法。該算法可以在數(shù)據(jù)集序列中挖掘突變的時(shí)間步或者子區(qū)域，減少數(shù)據(jù)分析或可視化的工作量。具體應(yīng)用于高斯序列與激光與等離子體相互作用模擬，效果良好。
　　(4)基于信息冗余度，提出了時(shí)間序列中物理參量非線性相關(guān)性的檢測(cè)算法。該算法引入振幅調(diào)節(jié)傅立葉變換算法生成替代數(shù)據(jù)，利用信息冗余度作為檢驗(yàn)統(tǒng)計(jì)量進(jìn)行統(tǒng)計(jì)檢驗(yàn)，研究了檢測(cè)單物理參量或多物理參量非線性相關(guān)性的數(shù)據(jù)挖掘算法。通過(guò)幾種常見(jiàn)的時(shí)間序列測(cè)試，驗(yàn)證了該數(shù)據(jù)挖掘算法