基于Spark的大數(shù)據(jù)處理關(guān)鍵技術(shù)研究.pdf

1、互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，推動(dòng)世界進(jìn)入大數(shù)據(jù)時(shí)代。網(wǎng)絡(luò)數(shù)據(jù)在規(guī)模上趨于爆炸式增長，在種類上趨于多樣化，在價(jià)值上趨于低密度化，在來源上趨于分散化，在處理需求上趨于實(shí)時(shí)化。自從Google公司發(fā)表MapReduce、BigTable、GFS三篇論文以來，出現(xiàn)了大量優(yōu)秀開源項(xiàng)目，使得大數(shù)據(jù)技術(shù)逐漸成熟，并演化出豐富的大數(shù)據(jù)生態(tài)圈。從數(shù)據(jù)的生命周期來看，大數(shù)據(jù)的主要技術(shù)可以分為數(shù)據(jù)采集、數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理四類。數(shù)據(jù)采集用于從數(shù)據(jù)源頭獲取數(shù)

2、據(jù)，數(shù)據(jù)集成用于整合多個(gè)系統(tǒng)的數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)用于永久化儲(chǔ)存數(shù)據(jù)，數(shù)據(jù)處理用于分析數(shù)據(jù)。
　　日志分析是大數(shù)據(jù)處理的一類典型應(yīng)用。日志是企業(yè)重要的數(shù)據(jù)，不僅包含了用戶行為，還記錄了程序錯(cuò)誤、性能指標(biāo)和系統(tǒng)工作狀況。通過對日志的分析，可以獲取用戶偏好并挖掘商業(yè)價(jià)值、快速定位程序錯(cuò)誤和性能瓶頸、發(fā)現(xiàn)系統(tǒng)潛在問題和風(fēng)險(xiǎn)。目前日志數(shù)據(jù)處理主要采用批處理技術(shù)，這種處理方式缺乏實(shí)時(shí)性，使得系統(tǒng)告警、入侵檢測、風(fēng)險(xiǎn)控制等強(qiáng)實(shí)時(shí)性的信息無法被及時(shí)處

3、理。
　　本文面向日志數(shù)據(jù)的實(shí)時(shí)收集與處理，研究了數(shù)據(jù)收集、集成、存儲(chǔ)與處理中的關(guān)鍵技術(shù)，設(shè)計(jì)實(shí)現(xiàn)了日志實(shí)時(shí)收集與分析平臺(tái)。該平臺(tái)收集服務(wù)器集群日志，并使用實(shí)時(shí)處理技術(shù)對日志加以分析。該平臺(tái)主要由三個(gè)部分組成：
　　1.數(shù)據(jù)收集層。數(shù)據(jù)收集層使收集過程透明化、可擴(kuò)展化并擁有容錯(cuò)性。在數(shù)據(jù)收集層中實(shí)現(xiàn)權(quán)重負(fù)載均衡算法，使收集過程擁有更好的負(fù)載均衡。此外，還設(shè)計(jì)了分布式配置管理方案，使得數(shù)據(jù)收集端管理自動(dòng)化。
　　2.數(shù)據(jù)

4、集成層。數(shù)據(jù)集成層使分散的日志數(shù)據(jù)得以匯總，并為分析系統(tǒng)提供數(shù)據(jù)緩沖。為了使集成層擁有更好的負(fù)載均衡，設(shè)計(jì)實(shí)現(xiàn)了基于先驗(yàn)知識(shí)的數(shù)據(jù)分配算法。
　　3.數(shù)據(jù)分析層。數(shù)據(jù)分析層處理實(shí)時(shí)日志數(shù)據(jù)。在Spark原有SQL查詢基礎(chǔ)上，實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)的動(dòng)態(tài)SQL查詢。動(dòng)態(tài)SQL查詢避免了重復(fù)提交Spark任務(wù)，提供了更便捷的日志查詢功能；在Spark實(shí)時(shí)處理框架上，基于實(shí)時(shí)數(shù)據(jù)特點(diǎn)，實(shí)現(xiàn)緩存系統(tǒng)，減少Spark Streaming作業(yè)獲取數(shù)據(jù)