氣象領(lǐng)域事件挖掘相關(guān)問題的研究.pdf

1、數(shù)據(jù)挖掘是從海量數(shù)據(jù)中發(fā)現(xiàn)有價值的規(guī)律和信息的一門學(xué)科，結(jié)合了統(tǒng)計學(xué)、數(shù)據(jù)庫、機器學(xué)習(xí)、優(yōu)化理論等各個領(lǐng)域的算法和知識。近年來，隨著信息化技術(shù)的高速發(fā)展，大量原始數(shù)據(jù)被采集，數(shù)據(jù)挖掘及其在各類交叉學(xué)科的應(yīng)用研究已經(jīng)越來越受到研究界以及企業(yè)界的重視。其中，空間數(shù)據(jù)與時間序列數(shù)據(jù)均為常見的數(shù)據(jù)類型，廣泛存在于地理信息系統(tǒng)，傳感器網(wǎng)絡(luò)，股票市場，和氣象領(lǐng)域等等。針對空間數(shù)據(jù)、時間序列數(shù)據(jù)的基礎(chǔ)算法研究，以及與其它學(xué)科領(lǐng)域相結(jié)合的應(yīng)用研究一直以

2、來都是數(shù)據(jù)挖掘的熱點問題。
　　氣象領(lǐng)域是數(shù)據(jù)挖掘技術(shù)應(yīng)用研究的一個新興的領(lǐng)域，而氣象事件挖掘是其中一個重點研究方向。氣象事件的挖掘研究可以為人們生產(chǎn)生活的各種行為決策提供及時且堅實的數(shù)據(jù)支持，具有極其重要的現(xiàn)實意義。因此，本文以氣象領(lǐng)域為研究背景，以常見的氣象數(shù)據(jù)如時間序列、空間數(shù)據(jù)、時空數(shù)據(jù)等為研究的數(shù)據(jù)對象，就氣象事件挖掘的相關(guān)問題展開研究。具體來說，本文主要專注于空間數(shù)據(jù)聚類分析、時間序列符號化表示等基礎(chǔ)算法研究，并針對氣

3、象領(lǐng)域特定事件挖掘等具體需求做算法和框架的設(shè)計。本文主要的研究成果如下:
　　(1)提出了一個空間數(shù)據(jù)聚類分析算法Yupc。受自然界粒子在勢能場下相互吸引的動態(tài)過程的啟發(fā)，本文提出一種全新的基于湯川勢的動態(tài)聚類算法Yupc。該算法既不需要事先假設(shè)數(shù)據(jù)初始分布，也不需要用戶指定簇的個數(shù)，可以檢測出不同形狀、大小、密度、數(shù)量、以及分布的簇，反映出原始數(shù)據(jù)集本質(zhì)內(nèi)在結(jié)構(gòu)特點。同時，為了解決聚類算法的參數(shù)設(shè)置問題，本文還提出一個自動搜尋最

4、佳參數(shù)的框架，以做到自動聚類分析。在人造數(shù)據(jù)集和真實數(shù)據(jù)集上的實驗表明，Yupc的聚類效果優(yōu)于現(xiàn)有算法，尤其擅于處理同時包含了多種簇的數(shù)據(jù)集。
　　(2)設(shè)計了一個時間序列符號化表示算法rSAX。時間序列符號化表示是處理高維時間序列的一種常用方法，可以在保留時間序列特征的前提下大大降低數(shù)據(jù)的維度，以便后續(xù)的分析挖掘。SAX是一個經(jīng)典的符號化表示算法，被廣泛用于時間序列分析的各個領(lǐng)域。但是SAX總是使用確定的分割點來映射時間序列，這

5、使得鄰近分割點的相似對象難以被合適的表達(dá)出來，還會影響TLB下界的緊度。為了解決這個問題，本文提出了一種基于隨機偏移的符號化表示算法rSAX。該算法通過隨機偏移算法生成“軟邊界”而非傳統(tǒng)算法的“硬邊界”，使得越為相似的對象點將有越高的概率被映射成同一個符號，進而做到更好TLB界而無需加大表達(dá)粒度。同時，本文從理論證明了rSAX與經(jīng)典算法SAX相比，可以做到更好的映射效果和更緊的TLB界。最后，在真實數(shù)據(jù)集上的實驗驗證了rSAX的有效性和

6、效率。
　　(3)為氣象領(lǐng)域協(xié)同異常事件挖掘提出了一個挖掘框架。氣象領(lǐng)域的溫度序列是時間序列的一種。歷史多維溫度序列記錄了多年來各地氣溫隨時間變化的趨勢和細(xì)節(jié)，同時隱含了很多重要的事件信息。其中，協(xié)同異常(co-anomaly)事件便是重要的氣象現(xiàn)象之一，表現(xiàn)為相似異常模式同時刻發(fā)生在不同的溫度序列上。這類協(xié)同異常事件在理解氣象行業(yè)異常氣象行為以及自然災(zāi)害方面扮演了非常重要的角色。然而，由于溫度序列自身獨特性質(zhì)，自動挖掘氣象領(lǐng)域協(xié)

7、同異常事件是一個尚待解決的問題。為此，本文提出一個全新的算法框架Sevent來從多維溫度序列中自動檢測協(xié)同異常氣象事件。具體的思想如下，首先把原始溫度序列投影成符號式表達(dá);然后，通過統(tǒng)計顯著性檢驗從中檢測協(xié)同異常模式;最后從協(xié)同異常模式中生成可覆蓋不同子維度以及不同子序列的協(xié)同異常事件。在真實數(shù)據(jù)集上的實驗結(jié)果清楚地驗證了Sevent的有效性。
　　(4)為氣象領(lǐng)域高溫?zé)崂耸录O(shè)計了一個基于時空聚類的挖掘算法。氣象領(lǐng)域的事件挖掘面

8、臨著各種各樣的氣象場景和需求。高溫?zé)崂吮闶瞧渲幸活愔匾氖录r空溫度數(shù)據(jù)進行自動高溫事件挖掘，可以幫助氣象專家們對歷史上各起高溫?zé)崂烁采w的時間和空間范圍做界定，從而對高溫?zé)崂说钠鹨蚣把莼鲞M一步的研究。事件時空區(qū)域挖掘同時也是數(shù)據(jù)挖掘領(lǐng)域一類重要的問題，在各種自然、社會學(xué)科中有著廣泛的應(yīng)用。傳統(tǒng)的事件時空區(qū)域挖掘算法多基于時空聚類分析，當(dāng)事件覆蓋的區(qū)域不規(guī)則，且隨著時間推移而呈現(xiàn)出各種演變時難以準(zhǔn)確對其進行捕獲和挖掘;同時各項參數(shù)的