基于分布式計(jì)算的時(shí)間序列異常檢測(cè).pdf

1、異常檢測(cè)是數(shù)據(jù)挖掘領(lǐng)域的傳統(tǒng)研究熱點(diǎn)，跟相似性檢索相反，異常檢測(cè)是為了找出數(shù)據(jù)集中跟其他元素最不相似的那些元素；而時(shí)間序列又是現(xiàn)實(shí)世界中最為常見的數(shù)據(jù)種類之一，所有隨著時(shí)間推移而產(chǎn)生的數(shù)據(jù)都屬于時(shí)間序列范疇。因此針對(duì)時(shí)間序列的異常檢測(cè)一直備受數(shù)據(jù)挖掘領(lǐng)域的專家學(xué)者們關(guān)注，而且在現(xiàn)實(shí)中也有諸多應(yīng)用。
　　傳統(tǒng)的時(shí)間序列異常檢測(cè)算法的時(shí)間復(fù)雜度與序列的長(zhǎng)度成平方關(guān)系，是一種O(N2)的算法。研究人員提出了很多針對(duì)該算法的加速方法以應(yīng)對(duì)

2、不斷增長(zhǎng)的數(shù)據(jù)規(guī)模。但是這些加速方法都局限在單機(jī)實(shí)現(xiàn)上，在面對(duì)千萬(wàn)級(jí)別規(guī)模的時(shí)間序列時(shí)，這些算法基本都會(huì)失效，不僅僅是因?yàn)轫樞蛱幚硭俣嚷?，更為重要的原因是?nèi)存中根本裝不下這么多數(shù)據(jù)。本文正是針對(duì)這個(gè)局限性，提出了基于分布式計(jì)算的時(shí)間序列異常檢測(cè)算法。我們的分布式算法解決了傳統(tǒng)檢測(cè)算法中子問題的解不能被歸并的問題，從而可以使原問題通過(guò)分治策略解決，這樣帶來(lái)的直接好處就是數(shù)據(jù)的分塊處理，消除了內(nèi)存瓶頸。我們基于分布式計(jì)算框架Spark和分布