基于云計算分布式技術的海量AIS數(shù)據(jù)挖掘系統(tǒng)設計與實現(xiàn).pdf

1、隨著海上貿易的蓬勃發(fā)展，船舶自動識別系統(tǒng)日漸普及，一方面在各個海事局及其相關系統(tǒng)中沉淀了豐富船舶航行數(shù)據(jù)，另一方面也對如何高效處理挖掘這些海量的航行數(shù)據(jù)提出了挑戰(zhàn)。而云計算和分布式技術作為一種高效的數(shù)據(jù)挖掘手段解決方案，正在越來越廣泛地應用于各行各業(yè)，通過云計算和分布式技術釋放的高效強勁的計算資源可以有效的解決海事領域數(shù)據(jù)挖掘場景下的計算瓶頸。在這樣的背景下，本文以船舶航行中的AIS數(shù)據(jù)為研究對象，采用云計算和分布式技術，結合數(shù)據(jù)挖掘的

2、方法，設計實現(xiàn)了海量AIS數(shù)據(jù)挖掘平臺，對船舶軌跡進行大數(shù)據(jù)分析，主要工作包括以下幾個方面:
　　(1)基于商用云計算平臺和分布式技術平臺Hadoop，設計了海量AIS數(shù)據(jù)挖掘系統(tǒng)技術解決方案和實現(xiàn)框架。開發(fā)了分布式AIS數(shù)據(jù)接收與匯總子系統(tǒng)，并通過分布式日志收集系統(tǒng)Flume對其進行收集，保證信息的實時性和高可用性;建立了HBase分布式鍵值對數(shù)據(jù)庫，實現(xiàn)海量數(shù)據(jù)高并發(fā)寫入和及時查詢的需求;實現(xiàn)了基于聯(lián)機處理能力(OLAP)的分

3、布式數(shù)據(jù)倉庫，用于各種粒度的AIS數(shù)據(jù)交互式分析。
　　(2)在云計算分布式環(huán)境下，設計并實現(xiàn)了分布式計算的并行DBSCAN算法，采用KD樹空間劃分算法劃分空間數(shù)據(jù)，用于對海量船舶運行軌跡的挖掘與分析。為了實現(xiàn)對海上交通流態(tài)勢的實時感知和異常報警，設計了利用Spark流式計算實現(xiàn)對監(jiān)控水域船舶實時聚類分析的技術方案。
　　(3)采用舟山海區(qū)的歷史數(shù)據(jù)和老鐵山水道的實時AIS數(shù)據(jù)對系統(tǒng)進行實例驗證。實驗結果表明，在大規(guī)模數(shù)據(jù)的