基于大數(shù)據(jù)技術(shù)的公安移動通信數(shù)據(jù)處理平臺設(shè)計與實現(xiàn).pdf

1、大數(shù)據(jù)時代，隨著數(shù)據(jù)量不斷增長，存儲與計算集群的規(guī)模也逐漸擴(kuò)大，幾百上千臺的云計算環(huán)境已不鮮見?，F(xiàn)在的集群所需要解決的問題不僅僅是高性能、高可靠性、高可擴(kuò)展性，還需要面對易維護(hù)性以及數(shù)據(jù)平臺內(nèi)部的數(shù)據(jù)共享性等諸多挑戰(zhàn)。優(yōu)秀的數(shù)據(jù)處理平臺既能提供豐富完善的業(yè)務(wù)應(yīng)用，又能實現(xiàn)數(shù)據(jù)平臺各組件的集中式管理、方便系統(tǒng)運維人員日常監(jiān)測、提升運維效率，并能反饋系統(tǒng)運行狀態(tài)給系統(tǒng)開發(fā)人員。大數(shù)據(jù)時代的業(yè)務(wù)與運維將緊密的結(jié)合在一起。
　　大數(shù)據(jù)已開

2、始影響并應(yīng)用到人類致力于發(fā)展的所有領(lǐng)域中，公安工作領(lǐng)域亦不例外?；诖髷?shù)據(jù)技術(shù)的公安移動通信數(shù)據(jù)處理平臺以海量結(jié)構(gòu)化通信數(shù)據(jù)和平臺各組件產(chǎn)生的海量結(jié)構(gòu)化、半結(jié)構(gòu)化日志數(shù)據(jù)為研究對象，設(shè)計并實現(xiàn)了一種融合業(yè)務(wù)系統(tǒng)與運維系統(tǒng)，集成實時數(shù)據(jù)流處理引擎、大數(shù)據(jù)管理引擎、分布式內(nèi)存計算架構(gòu)和數(shù)據(jù)交換系統(tǒng)的解決方案。
　　本文從公安信息化建設(shè)實際工作出發(fā)，根據(jù)公安部門提供的全省手機(jī)通信實時數(shù)據(jù)流傳輸接口，設(shè)計并實現(xiàn)了實時數(shù)據(jù)流處理引擎，對不同

3、運營商、不同信令的實時通信數(shù)據(jù)流實施抽取、清洗、關(guān)聯(lián)回填等步驟后裝載到數(shù)據(jù)倉庫中。基于數(shù)據(jù)倉庫，整合地理信息系統(tǒng)與WEB系統(tǒng)，構(gòu)建了移動通信數(shù)據(jù)分析子系統(tǒng)，在空間、時間、目標(biāo)號碼等多個維度上對通信數(shù)據(jù)進(jìn)行查詢、分析。另外，為實現(xiàn)通訊數(shù)據(jù)處理平臺的高可靠性、易維護(hù)性以及數(shù)據(jù)平臺內(nèi)部組件間高效的數(shù)據(jù)交換，設(shè)計并實現(xiàn)了日志數(shù)據(jù)分析子系統(tǒng)，通過整合數(shù)據(jù)采集工具、分布式消息隊列、全文搜索引擎和分布式內(nèi)存計算架構(gòu)實現(xiàn)了對通信數(shù)據(jù)的處理、以及數(shù)據(jù)平臺

4、組件日志數(shù)據(jù)的收集、處理與分析，本系統(tǒng)在濟(jì)南市公安局已經(jīng)成功應(yīng)用，在“科技強(qiáng)警”中起到了重要作用，為分析案情提供了基于通信大數(shù)據(jù)的高效分析方法，同時也大大提高系統(tǒng)研發(fā)與運維人員的工作效率。
　　本文首先對海量通信數(shù)據(jù)和日志數(shù)據(jù)應(yīng)用環(huán)境下公安數(shù)據(jù)中心建設(shè)的課題背景進(jìn)行研究，分析了公安對基于移動通信數(shù)據(jù)的大型數(shù)據(jù)處理平臺的需求以及目前公共安全領(lǐng)域數(shù)據(jù)集成平臺的應(yīng)用情況。第二，依據(jù)需求分析，通過架構(gòu)預(yù)研與技術(shù)選型，給出了基于大數(shù)據(jù)技術(shù)的

5、公安移動通信數(shù)據(jù)處理平臺實時數(shù)據(jù)流處理引擎、移動通信數(shù)據(jù)分析子系統(tǒng)、日志數(shù)據(jù)分析子系統(tǒng)的概要結(jié)構(gòu)設(shè)計，包含系統(tǒng)架構(gòu)設(shè)計和技術(shù)架構(gòu)設(shè)計，技術(shù)架構(gòu)設(shè)計主要依照分層思想定義數(shù)據(jù)處理平臺各組件的功能，系統(tǒng)架構(gòu)設(shè)計的出發(fā)點在于系統(tǒng)的可擴(kuò)展性、高可用性、可維護(hù)性，對現(xiàn)有的主流開源大數(shù)據(jù)技術(shù)進(jìn)行了調(diào)研，闡述了日志處理解決方案ELK Stack、分布式內(nèi)存計算架構(gòu)Spark與Hadoop Ecosystem的融合架構(gòu)，詳述了由數(shù)據(jù)采集組件(Flume、

6、Logstash)、分布式數(shù)據(jù)流處理框架(Spark Streaming)組成的實時數(shù)據(jù)流處理引擎的設(shè)計依據(jù)，以及由分布式列式數(shù)據(jù)倉庫(Hbase)、分布式消息隊列(Kafka)、全文搜索引擎(Elasticsearch)組成的大數(shù)據(jù)管理引擎的設(shè)計方案和特點等。第三，給出了移動通信數(shù)據(jù)分析子系統(tǒng)與日志數(shù)據(jù)分析子系統(tǒng)各模塊的詳細(xì)設(shè)計，在詳細(xì)設(shè)計的基礎(chǔ)上給出各個模塊的實現(xiàn)和測試，包括利用公安提供的實時數(shù)據(jù)流接口進(jìn)行實時數(shù)據(jù)流處理程序的開發(fā)，