大數(shù)據(jù)共享服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息化的腳步在各行各業(yè)中邁進(jìn)，大量數(shù)據(jù)被存儲(chǔ)在行業(yè)內(nèi)部系統(tǒng)中，不公開(kāi)的數(shù)據(jù)雖然保護(hù)了企業(yè)自身的利益，但時(shí)代的發(fā)展已不容企業(yè)孤芳自賞。如何解決分析時(shí)數(shù)據(jù)單一不夠立體的問(wèn)題、如何對(duì)數(shù)據(jù)進(jìn)行有效的保護(hù)、如何減少運(yùn)營(yíng)成本以獲取更多更深入挖掘數(shù)據(jù)潛藏的價(jià)值，如何在保護(hù)企業(yè)利益的前提下對(duì)數(shù)據(jù)加以利用，突破傳統(tǒng)對(duì)數(shù)據(jù)利用的局限是本文主要目的。
　　目前以低成本高效率存儲(chǔ)大量非結(jié)構(gòu)化數(shù)據(jù)的方式主要是應(yīng)用Hadoop生態(tài)圈中的數(shù)據(jù)倉(cāng)儲(chǔ)作為存儲(chǔ)平

2、臺(tái)，并依賴(lài)一些公司企業(yè)開(kāi)發(fā)的應(yīng)用軟件對(duì)數(shù)據(jù)加以分析利用。本文中應(yīng)用Hive作為數(shù)據(jù)倉(cāng)庫(kù)，管理存儲(chǔ)數(shù)據(jù)。Hive的優(yōu)勢(shì)在于可以執(zhí)行HQL語(yǔ)句，解析HQL語(yǔ)句編譯為MapReduce腳本任務(wù)在Hadoop平臺(tái)中運(yùn)行，方便了對(duì)數(shù)據(jù)的利用。
　　本文從三方面入手解決數(shù)據(jù)從導(dǎo)入到使用過(guò)程中遇到的技術(shù)問(wèn)題，首先應(yīng)用數(shù)據(jù)遷移工具擴(kuò)充本系統(tǒng)的數(shù)據(jù)積累，其次對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行管理劃分，在保護(hù)數(shù)據(jù)安全的前提下共享數(shù)據(jù)信息，最后提供數(shù)據(jù)應(yīng)用服務(wù)，解決用戶(hù)的

3、實(shí)際問(wèn)題。系統(tǒng)采用SpringMVC、Hibernate、JPA、Shiro框架技術(shù)，簡(jiǎn)化了開(kāi)發(fā)流程，通過(guò)在Java中調(diào)用Sqoop工具接口創(chuàng)建腳本將其他目標(biāo)數(shù)據(jù)信息拷貝到系統(tǒng)存儲(chǔ)平臺(tái)。數(shù)據(jù)共享是通過(guò)用戶(hù)登錄后根據(jù)權(quán)限查看平臺(tái)資源并申請(qǐng)獲得數(shù)據(jù)。
　　為解決部分用戶(hù)無(wú)法搭建具有較強(qiáng)數(shù)據(jù)分析能力的平臺(tái)進(jìn)行數(shù)據(jù)挖掘，系統(tǒng)為用戶(hù)提供數(shù)據(jù)上傳接口，可將自己所有的數(shù)據(jù)上傳至系統(tǒng)數(shù)據(jù)庫(kù)中作為私有包進(jìn)行數(shù)據(jù)分析業(yè)務(wù)操作，這極大地提高了平臺(tái)可用性