人工智能在數(shù)據(jù)清洗中的應(yīng)用.pdf

1、本文論述了人工智能在數(shù)據(jù)清洗中的應(yīng)用。 隨著業(yè)務(wù)的不斷拓展，大量的生產(chǎn)管理、技術(shù)質(zhì)量、財(cái)務(wù)成本等各個(gè)領(lǐng)域的數(shù)據(jù)不斷產(chǎn)生。如何充分利用這些數(shù)據(jù)和系統(tǒng)，提高數(shù)據(jù)的質(zhì)量，為決策支持系統(tǒng)提供正確的數(shù)據(jù)，實(shí)現(xiàn)從數(shù)據(jù)到信息、信息到知識(shí)的提煉，從而為企業(yè)的生產(chǎn)經(jīng)營(yíng)作出正確決策提供服務(wù)，是擺在信息技術(shù)人員面前的一大課題。 數(shù)據(jù)清洗，也稱做數(shù)據(jù)凈化，從數(shù)據(jù)中檢測(cè)和去除錯(cuò)誤及不一致的數(shù)據(jù)部分以改善數(shù)據(jù)質(zhì)量。 針對(duì)CATT項(xiàng)目數(shù)據(jù)的數(shù)

2、據(jù)質(zhì)量問題以及用戶的特殊需求，建立了數(shù)據(jù)清洗過程的元數(shù)據(jù)模型，對(duì)清洗過程用到的數(shù)據(jù)庫對(duì)象和知識(shí)庫對(duì)象進(jìn)行管理，并創(chuàng)新性的在公司數(shù)據(jù)倉庫項(xiàng)目中引入人工智能方法參與數(shù)據(jù)清洗。 在本項(xiàng)目的元數(shù)據(jù)模型中，將知識(shí)元數(shù)據(jù)分為邏輯和信息兩大類。邏輯是一種規(guī)則，是加工信息的具體方法，由設(shè)計(jì)人員進(jìn)行具體設(shè)計(jì)和實(shí)現(xiàn)。信息是對(duì)現(xiàn)實(shí)世界中具體事物的抽象反映，可以由程序自動(dòng)更新。對(duì)數(shù)據(jù)的清洗操作，利用規(guī)則對(duì)清洗后的數(shù)據(jù)進(jìn)行的驗(yàn)證等等都屬于邏輯。而各種數(shù)據(jù)

3、，包括臟數(shù)據(jù)，清洗后的數(shù)據(jù)，驗(yàn)證后的結(jié)果，清洗過程中要用到的數(shù)據(jù)字典等等都數(shù)據(jù)信息范圍。 本文中的人工智能模塊采用了貝葉斯文本識(shí)別方法，通過樸素貝葉斯分類器識(shí)別客戶的特殊需求字段是否符合正確樣本的特征。通過把人工智能模塊整合到整個(gè)的清洗過程中，通過email提醒來通知維護(hù)人員出現(xiàn)可疑數(shù)據(jù)，從而大大降低了人員維護(hù)的工作量并實(shí)現(xiàn)了項(xiàng)目的需求。 通過測(cè)試，本文所描述的數(shù)據(jù)清洗方案具有自動(dòng)化程度高，人為管理少，結(jié)構(gòu)清晰，便于維護(hù)