基于云計算的海量時空數(shù)據(jù)存儲及挖掘方法的研究和應用.pdf

1、近年來,越來越多的應用程序收集和存儲大量時空數(shù)據(jù)在分布式數(shù)據(jù)庫中,使得時空數(shù)據(jù)挖掘的需求不斷增加。在公安交通管理領域,由于交通流數(shù)據(jù)急劇增加,加上其數(shù)據(jù)具有顯著的時空特性,使得在處理海量的時空數(shù)據(jù)上面臨著嚴重的挑戰(zhàn)。針對日益增長的海量數(shù)據(jù)分析,傳統(tǒng)的處理方法在存儲空間和計算效率上已不能滿足用戶需求,需要有支持海量數(shù)據(jù)存儲和分析的平臺來適應新的需求。
　　時空異常探測是時空數(shù)據(jù)挖掘領域中一個重要分支。本文針對傳統(tǒng)處理方法在時空異常探

2、測方面的局限性,設計實現(xiàn)了一個大數(shù)據(jù)存儲及分析平臺。主要研究內(nèi)容和創(chuàng)新如下:
　　(1)本文分析和研究云平臺下Hadoop、HBase、Hive及Zookeeper的技術原理,研究了Hadoop框架的HDFS原理及MapReduce編程模型,重點研究了HBase分布式數(shù)據(jù)庫的數(shù)據(jù)存儲架構(gòu)底層實現(xiàn)原理及HBase表的數(shù)據(jù)模型。在此基礎上,本文構(gòu)建了基于Hadoop、HBase、Hive及Zookeeper的云平臺,并搭建了HBase

3、+Hive系統(tǒng)擴展架構(gòu)。
　　(2)對時空異常探測方法進行了深入研究,分析研究了現(xiàn)有的一些時空異常模式,通過挖掘預先定義的時空異常模式得到有價值的知識。提出了基于云平臺的四步驟時空異常探測方法(數(shù)據(jù)預處理、分布式異常探測方法、知識規(guī)則應用、結(jié)果驗證)來挖掘預先定義的時空異常模式,使用交通數(shù)據(jù)流中的一個真實應用來驗證該方法。實驗表明該方法具有較高的運行效率和正確性。
　　(3)研究了HBase行鍵設計,提出了基于行鍵的數(shù)據(jù)模型