基于Hive的物流數(shù)據(jù)倉庫研究與實現(xiàn).pdf

1、近年來，隨著大數(shù)據(jù)技術的發(fā)展和應用，Hadoop已經(jīng)得到學術界和工業(yè)界的廣泛認可。Hive作為構建于Hadoop集群之上的開源數(shù)據(jù)倉庫應用，具備模式自由、高可擴展性和高容錯性的特點，能夠很好地滿足企業(yè)級數(shù)據(jù)倉庫的需求。因此，越來越多的物流企業(yè)開始考慮如何利用Hive數(shù)據(jù)倉庫帶來的優(yōu)勢，完善自身的信息化建設。
　　本文以某物流信息系統(tǒng)軟件公司(以下稱DK公司)的智慧物流大數(shù)據(jù)平臺項目為背景，在充分研究物流公司業(yè)務需求的基礎上，對基于

2、Hive的物流數(shù)據(jù)倉庫進行了總體架構設計，同時選擇了開發(fā)語言，并分析了實現(xiàn)方法。
　　針對物流企業(yè)數(shù)據(jù)倉庫擴展性不好、運行自動化程度不高、處理大規(guī)模數(shù)據(jù)效果較差等問題，在對基于Hive的物流數(shù)據(jù)倉庫進行分析和設計的基礎上，本文提出物流數(shù)據(jù)倉庫的具體實現(xiàn)方案，該數(shù)據(jù)倉庫結合高校云平臺虛擬化技術，能夠提供高可擴展性。另外，數(shù)據(jù)倉庫的數(shù)據(jù)抽取轉換加載過程和數(shù)據(jù)查詢分析處理過程能夠滿足自動化需求，不需要任何人工干預。并且利用MapRedu

3、ce并行計算的優(yōu)勢，能夠很好地支持大規(guī)模物流數(shù)據(jù)的處理。
　　本文首先對國內(nèi)外現(xiàn)狀和大數(shù)據(jù)相關技術進行介紹，主要對比了Hive數(shù)據(jù)倉庫和關系型數(shù)據(jù)庫，研究了Hive數(shù)據(jù)倉庫的優(yōu)缺點，并提出其適用場景。然后，以DK公司智慧物流大數(shù)據(jù)平臺項目為背景，對基于Hive的物流數(shù)據(jù)倉庫進行需求分析和系統(tǒng)架構設計，提出實現(xiàn)該數(shù)據(jù)倉庫的技術方案。進而基于學校云平臺，部署了Hadoop、Sqoop和Hive環(huán)境，搭建了基于虛擬化技術的大數(shù)據(jù)處理平臺