多種數(shù)據(jù)處理方案及其性能和應用研究.pdf

1、自動化和數(shù)字化的業(yè)務應用平臺使企業(yè)每天產生和收集的數(shù)據(jù)量日益增長。數(shù)據(jù)量增大，數(shù)據(jù)計算任務日益復雜，用戶對平臺數(shù)據(jù)處理性能要求的提高，使得數(shù)據(jù)處理性能面臨著嚴峻挑戰(zhàn)。因此，數(shù)據(jù)處理是一個有重要學術和應用價值的研究課題。
　　本文研究了Pig數(shù)據(jù)處理的內部機制，Pig是基于Hadoop平臺的并行數(shù)據(jù)處理計算引擎。并針對一個申報評審類系統(tǒng)中評審結果統(tǒng)計模塊數(shù)據(jù)量不斷增大和數(shù)據(jù)處理任務日益復雜的問題，提出了四種數(shù)據(jù)處理解決方案。并對四種

2、方案從可擴展性、數(shù)據(jù)處理性能等多方面進行了綜合對比分析。通過分析Pig+Nova分布式并行處理方案能夠較好的申報評審系統(tǒng)數(shù)據(jù)處理性能的問題。其中，Nova是一種數(shù)據(jù)流管理器。
　　本文設計了對比實驗對 Pig分布式數(shù)據(jù)數(shù)理性能和分布式存儲策略進行研究。用不同數(shù)量級的數(shù)據(jù)對Oracle/SQL和Hadoop/Pig實現(xiàn)的數(shù)據(jù)處理案例進行性能測試，在不同節(jié)點個數(shù)的Hadoop集群對Pig方案進行測試和分析。實驗結果表明，當對小數(shù)據(jù)集進