交易序列數(shù)據(jù)挖掘研究.pdf

1、交易序列數(shù)據(jù)描述的是在各類交易過程中商品或證券價(jià)格隨時(shí)間的變化規(guī)律，分析這些數(shù)據(jù)能為商家或投資者制定營銷策略或選擇價(jià)值投資方法提供量化依據(jù)，由此交易序列數(shù)據(jù)挖掘技術(shù)成為當(dāng)前研究和應(yīng)用的熱點(diǎn)。
　　 交易序列數(shù)據(jù)挖掘的目的是識別商品或證券交易價(jià)格變化規(guī)律，主要任務(wù)有分類、聚類、關(guān)聯(lián)分析和異常檢測等，還可以進(jìn)行各種擴(kuò)展的數(shù)據(jù)分析與挖掘，如允許有時(shí)間間隔約束的關(guān)聯(lián)規(guī)則、數(shù)據(jù)有缺失值存在的模式分析等。
　　 目前，針對交易序列數(shù)

2、據(jù)的大量研究使用的是其他序列數(shù)據(jù)挖掘與分析方法，比如將其離散時(shí)間的序元序看作連續(xù)的、使用時(shí)間序列結(jié)構(gòu)化或非結(jié)構(gòu)化模型與各種復(fù)雜算法相結(jié)合的方法，又如忽略其數(shù)值型序元值、使用特征構(gòu)建成事件序列進(jìn)行頻繁模式挖掘方法；再如將其數(shù)值型的序元值進(jìn)行字符表示、使用字符序列模式查找的方法。這些研究方法存在以下兩方面問題：一方面，沒有同時(shí)兼顧交易序列數(shù)據(jù)本身固有的離散時(shí)間序和數(shù)值型元素值兩大特性；另一方面，沒有利用可用的經(jīng)濟(jì)與金融領(lǐng)域知識。兼顧交易序列

3、本身原有特性并有效找到各種符合領(lǐng)域意義的頻繁相似模式，能使數(shù)據(jù)分析與挖掘結(jié)果更有效。
　　 本文從交易序列基本模式出發(fā)，定義了5種交易序列原子模式(包括：趨平模式、頭部模式、底部模式、增長模式和下降模式)及其關(guān)聯(lián)關(guān)系，即交易序列復(fù)合模式，著重研究了交易序列模式挖掘、交易序列模式查詢與預(yù)測和基于交易序列模式的聚類三方面問題，主要研究成果如下：
　　 (1)針對交易序列模式挖掘問題，在原子模式快速查找及其TOP K頻繁項(xiàng)挖掘

4、兩個(gè)算法的基礎(chǔ)上，提出了一種頻繁的交易序列復(fù)合模式挖掘算法。
　　 頻繁的交易序列復(fù)合模式是由多種滿足一定時(shí)間約束及其周期循環(huán)關(guān)系的交易原子模式頻繁集組成的，在此項(xiàng)挖掘任務(wù)中，由于候選原子模式空間是呈指數(shù)級增長的，因而效率問題成為一個(gè)瓶頸。
　　 首先，根據(jù)領(lǐng)域知識定義了5種交易序列原子模式，提出了一種伸縮距離函數(shù)的序列模式通用相似性度量及其趨勢融合和對稱使用距離函數(shù)的計(jì)算方法，將“縮放”相似的4種交易序列原子模式(除趨

5、平模式)分別轉(zhuǎn)化為相似性無向圖進(jìn)行譜聚類：然后，在以結(jié)果簇近似代替最大團(tuán)的基礎(chǔ)上，引入時(shí)間約束代替趨平模式找到由各種交易序列原子模式頻繁集構(gòu)成的頻繁復(fù)合模式。在真實(shí)股票交易序列集上，采用多種相似性計(jì)算方法比較得到算法準(zhǔn)確性，并且所求得的頻繁復(fù)合模式有較好的應(yīng)用解釋。
　　 (2)針對交易序列模式查詢問題，提出了兩種有效的相似性查詢算法。
　　 在現(xiàn)實(shí)應(yīng)用中，交易序列有一種重要的相似性--“縮放”相似性，這是交易序列模式在

6、時(shí)間維度上的“彈性”拉長或縮短但會(huì)保留在數(shù)值維度上整體變化趨勢的一種相似性。因而如何定義合理的相似性度量來捕捉這種相似性是一個(gè)需要解決的重要問題。
　　 針對序列間的細(xì)微變化，先對待查詢的序列進(jìn)行單調(diào)區(qū)間的“融合”處理，然后根據(jù)各區(qū)間的長度和幅度比例進(jìn)行序列模式的候選產(chǎn)生，最后使用伸縮距離函數(shù)作為相似性度量進(jìn)行計(jì)算并返回最后結(jié)果；針對交易序列的價(jià)格區(qū)間變化，先將所有序列進(jìn)行規(guī)范化，在改進(jìn)伸縮距離函數(shù)定義的基礎(chǔ)上進(jìn)行計(jì)算并得到查詢

7、結(jié)果。實(shí)驗(yàn)結(jié)果表明，“趨勢融合”和“價(jià)格融合”兩種相似性查詢算法都能找到在總體形狀上與給定序列模式“放大”或“縮小”的所有模式結(jié)果。
　　 (3)針對交易序列預(yù)測問題，提出了一種有較高準(zhǔn)確率的序列模式趨勢預(yù)測算法。
　　 預(yù)測是根據(jù)給定交易序列數(shù)據(jù)集，對給定待查序列的后續(xù)時(shí)間進(jìn)行數(shù)值屬性上的估計(jì)。南于數(shù)據(jù)變化的復(fù)雜性，在交易序列中進(jìn)行趨勢預(yù)測比精確預(yù)測更有意義，因而提高對給定序列趨勢預(yù)測準(zhǔn)確度成為預(yù)測問題的關(guān)鍵。

8、　　 基于“價(jià)格融合”的相似性查詢，本文使用Parzen窗密度和KNN的估計(jì)兩種方法分別證明了將查詢結(jié)果候選集的TOPk個(gè)結(jié)果的后續(xù)長度為τ的模式加權(quán)平均，能近似替代全部查詢結(jié)果，進(jìn)而綜合出預(yù)測結(jié)果。在真實(shí)股票交易序列集上的實(shí)驗(yàn)結(jié)果表明，趨勢預(yù)測有較高的準(zhǔn)確率。
　　 (4)針對交易序列聚類問題，提出了一種考慮時(shí)限約束目標(biāo)函數(shù)的聚類算法。
　　 交易序列進(jìn)行聚類選擇何種對象進(jìn)行很關(guān)鍵。在一定時(shí)間范圍內(nèi)，總體呈增長或下降

9、趨勢更能反映商品或證券的價(jià)格規(guī)律，因而從原始的交易序列中提取了這種反映局部信息的增長或下降模式進(jìn)行特征創(chuàng)建并進(jìn)行聚類的意義大于直接使用原始交易序列。
　　 首先，從商品或證券價(jià)格及其變化趨勢等角度研究了交易序列集的內(nèi)在結(jié)構(gòu)，定義了一種反映價(jià)格變化趨勢的增長或下降模式及其錯(cuò)位組合距離和角度向量距離兩種遞進(jìn)的相似性度量，在此基礎(chǔ)上，設(shè)計(jì)了一個(gè)考慮時(shí)限約束的目標(biāo)函數(shù)進(jìn)行先劃分再層次合并的聚類研究。實(shí)驗(yàn)結(jié)果表明，在時(shí)限約束的條件下，增長