數(shù)據(jù)清洗關(guān)鍵技術(shù)研究及在工商信用服務(wù)平臺(tái)上的應(yīng)用.pdf

1、在對(duì)網(wǎng)絡(luò)交易中的信用主體進(jìn)行信用評(píng)估時(shí)，需要對(duì)分散在各機(jī)構(gòu)中的基礎(chǔ)信用信息進(jìn)行整合。在對(duì)信用信息的處理過(guò)程中，由于各機(jī)構(gòu)對(duì)信息的表達(dá)方式不盡相同，因此需要對(duì)采集來(lái)的數(shù)據(jù)進(jìn)行清洗，特別是要對(duì)數(shù)據(jù)庫(kù)字段不匹配和數(shù)據(jù)重復(fù)冗余等現(xiàn)象進(jìn)行處理。
　　 本文針對(duì)多數(shù)據(jù)源中數(shù)據(jù)庫(kù)字段不匹配的問(wèn)題，提出一種基于領(lǐng)域知識(shí)的字段映射方法，對(duì)字段進(jìn)行分類，并從字段的基本信息和實(shí)例的內(nèi)容信息進(jìn)行分析，最終得出所比較字段的相似性，從而識(shí)別出不同的數(shù)據(jù)庫(kù)模

2、式中表達(dá)相同含義的重復(fù)字段，并能夠?qū)σ院蟮淖侄斡成涮峁┯行У闹?，最后通過(guò)引入信用領(lǐng)域的相關(guān)知識(shí)對(duì)各機(jī)構(gòu)的數(shù)據(jù)庫(kù)字段進(jìn)行映射，驗(yàn)證了本方法的實(shí)用性。本文針對(duì)已映射字段中的重復(fù)記錄問(wèn)題，提出了一種新的重復(fù)記錄檢測(cè)算法，該算法是對(duì)MPN(多趟鄰近排序)算法的改進(jìn)，并通過(guò)改進(jìn)的相似度計(jì)算方法判斷兩條記錄的重復(fù)程度，從而檢測(cè)出隱含的數(shù)據(jù)重復(fù)冗余問(wèn)題，最終通過(guò)對(duì)實(shí)際信用數(shù)據(jù)的處理，驗(yàn)證了該算法的正確性，為半自動(dòng)化檢測(cè)多數(shù)據(jù)源數(shù)據(jù)集成過(guò)程中出現(xiàn)的數(shù)