基于Spark的數(shù)據(jù)處理分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著計算機和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長。尋求有效的大數(shù)據(jù)處理技術(shù)、方法和手段已經(jīng)成為現(xiàn)實世界的迫切需求。Hadoop和Spark是目前最流行的分布式計算框架，隨著相關(guān)技術(shù)的逐漸成熟，現(xiàn)在很多公司都在研究學(xué)習(xí)，以滿足自身業(yè)務(wù)的需求和提高產(chǎn)品的品質(zhì)。在此背景下，某公司提出基于Spark來開發(fā)一個用于數(shù)據(jù)處理分析的系統(tǒng)，即ATL-DPAS(Data Processing and

2、Analysis System Of AcnTechnology Lab)。該系統(tǒng)不僅能夠兼容Hadoop集群，而且能夠利用現(xiàn)有的計算資源靈活高效的處理海量數(shù)據(jù)、進(jìn)行交互式實時查詢、進(jìn)行可視化智能分析。
　　根據(jù)不同的功能需求，系統(tǒng)劃分為數(shù)據(jù)處理模塊、數(shù)據(jù)查詢模塊、數(shù)據(jù)建模模塊。本人主要負(fù)責(zé)數(shù)據(jù)處理模塊的設(shè)計與開發(fā)，包括設(shè)計數(shù)據(jù)處理模塊的流程、設(shè)計與實現(xiàn)數(shù)據(jù)清洗合并算法、實現(xiàn)各種數(shù)據(jù)處理方式的接口等。本論文中，首先對ATL數(shù)據(jù)處理

3、分析系統(tǒng)的研究現(xiàn)狀進(jìn)行了綜述，簡單介紹了相關(guān)理論與技術(shù);其次從功能性需求和非功能性需求兩方面對系統(tǒng)需求進(jìn)行了分析，從中梳理出系統(tǒng)目標(biāo)，確定了系統(tǒng)總體設(shè)計架構(gòu)，也對系統(tǒng)數(shù)據(jù)庫進(jìn)行了詳細(xì)設(shè)計;再次，針對數(shù)據(jù)處理模塊中HDFS列表、數(shù)據(jù)添加、數(shù)據(jù)清洗、數(shù)據(jù)合并、數(shù)據(jù)類型管理五個子模塊進(jìn)行了流程設(shè)計、代碼實現(xiàn)與界面展示;最后介紹了系統(tǒng)部署的過程和系統(tǒng)測試的方法，對數(shù)據(jù)處理模塊進(jìn)行了詳細(xì)的功能測試和性能測試，并對測試結(jié)果進(jìn)行分析評估，從而驗證了S