基于Hive的物流數(shù)據(jù)倉(cāng)庫(kù)研究與實(shí)現(xiàn).pdf

1、近年來(lái)，隨著大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用，Hadoop已經(jīng)得到學(xué)術(shù)界和工業(yè)界的廣泛認(rèn)可。Hive作為構(gòu)建于Hadoop集群之上的開(kāi)源數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用，具備模式自由、高可擴(kuò)展性和高容錯(cuò)性的特點(diǎn)，能夠很好地滿足企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的需求。因此，越來(lái)越多的物流企業(yè)開(kāi)始考慮如何利用Hive數(shù)據(jù)倉(cāng)庫(kù)帶來(lái)的優(yōu)勢(shì)，完善自身的信息化建設(shè)。
　　本文以某物流信息系統(tǒng)軟件公司(以下稱DK公司)的智慧物流大數(shù)據(jù)平臺(tái)項(xiàng)目為背景，在充分研究物流公司業(yè)務(wù)需求的基礎(chǔ)上，對(duì)基于

2、Hive的物流數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行了總體架構(gòu)設(shè)計(jì)，同時(shí)選擇了開(kāi)發(fā)語(yǔ)言，并分析了實(shí)現(xiàn)方法。
　　針對(duì)物流企業(yè)數(shù)據(jù)倉(cāng)庫(kù)擴(kuò)展性不好、運(yùn)行自動(dòng)化程度不高、處理大規(guī)模數(shù)據(jù)效果較差等問(wèn)題，在對(duì)基于Hive的物流數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行分析和設(shè)計(jì)的基礎(chǔ)上，本文提出物流數(shù)據(jù)倉(cāng)庫(kù)的具體實(shí)現(xiàn)方案，該數(shù)據(jù)倉(cāng)庫(kù)結(jié)合高校云平臺(tái)虛擬化技術(shù)，能夠提供高可擴(kuò)展性。另外，數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取轉(zhuǎn)換加載過(guò)程和數(shù)據(jù)查詢分析處理過(guò)程能夠滿足自動(dòng)化需求，不需要任何人工干預(yù)。并且利用MapRedu

3、ce并行計(jì)算的優(yōu)勢(shì)，能夠很好地支持大規(guī)模物流數(shù)據(jù)的處理。
　　本文首先對(duì)國(guó)內(nèi)外現(xiàn)狀和大數(shù)據(jù)相關(guān)技術(shù)進(jìn)行介紹，主要對(duì)比了Hive數(shù)據(jù)倉(cāng)庫(kù)和關(guān)系型數(shù)據(jù)庫(kù)，研究了Hive數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)缺點(diǎn)，并提出其適用場(chǎng)景。然后，以DK公司智慧物流大數(shù)據(jù)平臺(tái)項(xiàng)目為背景，對(duì)基于Hive的物流數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行需求分析和系統(tǒng)架構(gòu)設(shè)計(jì)，提出實(shí)現(xiàn)該數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)方案。進(jìn)而基于學(xué)校云平臺(tái)，部署了Hadoop、Sqoop和Hive環(huán)境，搭建了基于虛擬化技術(shù)的大數(shù)據(jù)處理平臺(tái)