面向大數(shù)據(jù)管理與分析的云計算模型研究.pdf

1、發(fā)展面向大數(shù)據(jù)的大規(guī)模分布式網(wǎng)絡(luò)應(yīng)用架構(gòu)模型及其應(yīng)用軟件高效開發(fā)部署方法，是當(dāng)前大數(shù)據(jù)管理與應(yīng)用所面臨的主要挑戰(zhàn)之一。傳統(tǒng)的關(guān)系型并行數(shù)據(jù)庫、數(shù)據(jù)倉庫、查詢索引、應(yīng)用建模和軟件開發(fā)技術(shù)，已經(jīng)不能滿足開發(fā)部署大數(shù)據(jù)應(yīng)用的實際需求。目前，大數(shù)據(jù)組織管理的相關(guān)技術(shù)普遍存在技術(shù)模型形式化程度較低、支持大數(shù)據(jù)分區(qū)管理的普適性不強(qiáng)、不支持基于異構(gòu)數(shù)據(jù)融合的大數(shù)據(jù)組織模式、對大數(shù)據(jù)語義分析應(yīng)用支持不足等問題；面向大數(shù)據(jù)的大規(guī)模分布式應(yīng)用架構(gòu)和應(yīng)用軟件

2、高效開發(fā)部署的成果還不多見。
　　本文的研究源于“電子政務(wù)建模仿真國家工程實驗室”所承擔(dān)的，某部門國家級業(yè)務(wù)信息服務(wù)平臺頂層設(shè)計和工程實施項目。圍繞項目存在的7個大數(shù)據(jù)應(yīng)用問題展開大數(shù)據(jù)組織管理、大規(guī)模分布式應(yīng)用架構(gòu)、應(yīng)用軟件高效開發(fā)部署相關(guān)的研究，最終落實為三大基礎(chǔ)設(shè)施平臺,并在其上成功部署該部門信息服務(wù)平臺和開展業(yè)務(wù)應(yīng)用。具體研究成果如下：
　　1、針對大數(shù)據(jù)組織管理研究：基于大數(shù)據(jù)范疇，提出了由基于場景和實體實例標(biāo)識的

3、數(shù)據(jù)切片規(guī)則，和面向場景的切片分配規(guī)則共同構(gòu)成的形式化數(shù)據(jù)分區(qū)方法TSEI-PS，從而形成了具有普適可操作性的大數(shù)據(jù)分區(qū)管理模型；然后，基于擴(kuò)展痕跡屬性后的大數(shù)據(jù)分區(qū)管理模型和刻畫差異化信息的擴(kuò)展項泛函，給出了差異化大數(shù)據(jù)信息資源組織模式，并結(jié)合大數(shù)據(jù)資源檢索問題和檢索運(yùn)算，提出了支持高效查詢檢索的大數(shù)據(jù)資源倒排檢索模式，并證明了其比遍歷檢索模式和層次檢索模式更高效，由此形成了支持大數(shù)據(jù)分區(qū)管理、支持差異屏蔽和高效查詢分析的數(shù)據(jù)組織管理

4、平臺。
　　2、針對大規(guī)模分布式應(yīng)用架構(gòu)研究：通過引入有向平凡范疇，建立了由多結(jié)構(gòu)化狀態(tài)關(guān)系代數(shù)，協(xié)議代數(shù)和交互計算總線格代數(shù)三個對象，及其對象間態(tài)射和單位態(tài)射構(gòu)成的符合有向平凡范疇定義的交互式計算范疇；在此基礎(chǔ)上，通過把交互式計算范疇中的態(tài)射定義成微構(gòu)件，并由同類微構(gòu)件集合形成DOBPS所定義的分布式對象系統(tǒng)構(gòu)件，進(jìn)而提出了一個用于研究交互式計算的理論模型MIC；同時，借鑒Cougaar和DOBPS架構(gòu)模型，設(shè)計了一種服務(wù)于大數(shù)

5、據(jù)應(yīng)用的分布式體系結(jié)構(gòu)負(fù)載分散機(jī)制，并利用這種機(jī)制建立了面向大數(shù)據(jù)管理與分析的云計算信息服務(wù)平臺。
　　3、針對應(yīng)用軟件高效開發(fā)部署研究：形式化地定義了分布式大數(shù)據(jù)應(yīng)用問題PDABD，并且給出了由定域算子、分域算子、子域計算算子、聚解算子和復(fù)合子域計算算子構(gòu)成的PDABD求解形式的一般表達(dá)；通過把各類算子映射為MIC模型中的微構(gòu)件，并把MIC應(yīng)用于PDABD問題求解，從而形成了基于MIC模型的面向大數(shù)據(jù)管理與分析的，大規(guī)模分布式應(yīng)