基于Java規(guī)則引擎的動態(tài)數(shù)據(jù)清洗研究與設(shè)計.pdf

1、在運營管理過程中，企業(yè)積累了大量的、極為重要的電子數(shù)據(jù)。業(yè)務決策者在進行分析決策時對這些數(shù)據(jù)的依賴性日益增強，錯誤或沖突的數(shù)據(jù)很可能會導致錯誤的決策，從而給企業(yè)造成巨大的損失。因此在這些數(shù)據(jù)進入決策系統(tǒng)之前需要對其進行處理，以提高決策系統(tǒng)的可信度和可用性。為解決上述問題，業(yè)界提出了數(shù)據(jù)清洗的解決方案，即從大量原始數(shù)據(jù)中按一定規(guī)則(領(lǐng)域知識規(guī)則)檢測出“臟數(shù)據(jù)”并按一定的規(guī)則(清洗動作規(guī)則)修復或丟棄之。傳統(tǒng)的數(shù)據(jù)清洗工具存在以下不足：“

2、臟數(shù)據(jù)”的檢測和修復邏輯被嵌入到復用性差的硬編碼中或依賴于靈活但低效的手工判斷。當“臟數(shù)據(jù)”的定義發(fā)生變化時需要修改源代碼并重新編譯生成清洗軟件，這在實際使用中是低效的。Java規(guī)則引擎的出現(xiàn)，為基于動態(tài)、可配置規(guī)則的數(shù)據(jù)清洗方式提供了可行的技術(shù)基礎(chǔ)。 本文介紹了規(guī)則引擎的基本原理，分析了Java規(guī)則引擎的工作機制及其核心算法--Rete算法，并對一種開源的Java規(guī)則引擎軟件包--Drools的API使用方法及其規(guī)則配置文件的

3、結(jié)構(gòu)及含義做了系統(tǒng)地研究分析。闡述了一種基于Drools規(guī)則引擎的動態(tài)數(shù)據(jù)清洗系統(tǒng)的設(shè)計方案。給出了領(lǐng)域知識規(guī)則和清洗動作規(guī)則的巴科斯范式定義，為規(guī)則的持久化存儲提供了基礎(chǔ)。設(shè)計并實現(xiàn)了使用Drools規(guī)則引擎描述并執(zhí)行清洗邏輯，能處理多種數(shù)據(jù)質(zhì)量問題的動態(tài)數(shù)據(jù)清洗系統(tǒng)，彌補了現(xiàn)有數(shù)據(jù)清洗工具的不足。這種動態(tài)性主要體現(xiàn)在規(guī)則的持久化存儲和Drools規(guī)則配置文件的動態(tài)更新。文中還詳細介紹了系統(tǒng)的規(guī)則數(shù)據(jù)庫設(shè)計、功能模塊劃分、架構(gòu)和工作流