企業(yè)數據中心數據采集與建模.pdf

1、本論文包含某企業(yè)數據中心數據采集與建模部分設計與實現(xiàn)，數據中心包含采集層、數據服務層、應用層、訪問層等，本文論述采集層與服務層的建設。
　　數據在本系統(tǒng)中分為結構化與非結構化，其中結構化的數據存儲在GBASE庫中，非結構化的數據存儲在HADOOP環(huán)境中，數據規(guī)模在PB級別，搭建成本比較低的分布式存儲環(huán)境來存儲與計算。開發(fā)使用OCDP大數據開發(fā)平臺，數據存儲采用HADOOP與GBASE數據庫，流程控制采用BDPE工具進行配置管理。<

2、br>　　數據中心接入移動公司原有的三大業(yè)務支撐系統(tǒng)，將分散于各業(yè)務系統(tǒng)不同數據庫、不同格式、不同類別的數據按照業(yè)務類型劃分為7大主題域數據，通過統(tǒng)一數據接口采集到數據中心，依照移動公司現(xiàn)有的業(yè)務需求，將數據抽象為貼近業(yè)務需求的數據模型，實現(xiàn)將底層數據與上層的依賴于各業(yè)務的具體應用之間的松耦合，簡化上層程序開發(fā)人員的開發(fā)難度。
　　本文介紹數據采集層與數據服務層的開發(fā)工作，采集層將分布于不同系統(tǒng)的數據接入到數據中心，數據服務層將數