面向大數(shù)據(jù)的模型解釋系統(tǒng)關鍵技術研究.pdf

1、隨著移動設備、通信技術和信息技術的快速發(fā)展，人類已經(jīng)進入大數(shù)據(jù)時代，各行各業(yè)日均產生的數(shù)據(jù)從GB、TB一路發(fā)展到PB級，各種用于處理大數(shù)據(jù)的工具也隨之出現(xiàn)，如Hadoop，Hive，Pig，Sqoop等Hadoop家族工具，或類MapReduce并行計算引擎如Spark等等。在實際的大數(shù)據(jù)分析中，用戶常常將多種工具組合起來，以大數(shù)據(jù)工作流的形式使用。
　　但是上述工具的專業(yè)性較強，普通用戶使用前需要對其內部工作原理有較好的理解，使

2、用門檻較高，由此導致專業(yè)用戶開發(fā)出的大數(shù)據(jù)處理流程復用性低。本文針對這一情況，在大數(shù)據(jù)處理流程模型化的思想下，提出了一個面向大數(shù)據(jù)的模型解釋系統(tǒng)。
　　課題首先解釋了將大數(shù)據(jù)處理工作流模型化的思想，給出了大數(shù)據(jù)模型元數(shù)據(jù)的語言描述規(guī)范。在大數(shù)據(jù)模型的運行承載形式為Oozie工作流的情況下，為滿足大數(shù)據(jù)處理節(jié)點類型不斷擴展的需要，本文利用規(guī)則引擎邏輯與數(shù)據(jù)分離的特點，提出了大數(shù)據(jù)模型基于規(guī)則引擎到Oozie工作流的解釋機制，并給出了

3、大數(shù)據(jù)模型解釋規(guī)則的描述。為了加快規(guī)則匹配速度，本文在深入分析規(guī)則引擎運行原理和Rete網(wǎng)絡結構的基礎上，結合大數(shù)據(jù)模型解釋規(guī)則的實際特點，提出了基于約束頻度的Rete網(wǎng)絡優(yōu)化構建策略，通過根據(jù)約束頻度對規(guī)則模式的約束重排序，構建出節(jié)點共享程度更高的Rete網(wǎng)絡。
　　為了滿足模型復用的需要，本文分析了模型復用在設計、運行階段的實現(xiàn)方式、現(xiàn)有實現(xiàn)方式的不足，然后提出了基于模型復制的復用模型解釋方法。為了加快復用模型解釋速度，本文從