大數(shù)據(jù)時代亟需強化數(shù)據(jù)清洗環(huán)節(jié)的規(guī)范和標準

1、日期：2015-10-10 文章來源：國研網(wǎng) 文章錄入：李金金 [ 關 閉 ]海量數(shù)據(jù)的不斷劇增形成大數(shù)據(jù)時代的顯著特征。而大數(shù)據(jù)的生產(chǎn)和交易的重要前提之一是數(shù)據(jù)的清洗。目前，我國已經(jīng)形成了基本的數(shù)據(jù)清洗產(chǎn)業(yè)格局，但因各自利益的追求，導致仍存在不少問題。因此，我國未來應重點強化數(shù)據(jù)清洗環(huán)節(jié)的規(guī)范和標準，推動大數(shù)據(jù)產(chǎn)業(yè)的健康發(fā)展。海量數(shù)據(jù)不斷劇增是未來的發(fā)展趨勢 海量數(shù)據(jù)不斷劇增是未來的發(fā)展趨勢在席卷全球的信息化浪潮中，互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)

2、、云計算、物聯(lián)網(wǎng)等技術迅猛發(fā)展、加速創(chuàng)新，其中積淀的數(shù)據(jù)爆炸式增長，成為重要的生產(chǎn)要素和社會財富，堪稱信息時代的礦產(chǎn)和石油。據(jù)預測，中國 2015 年可能突破 10EB 數(shù)據(jù)保有量，且每兩年會翻一番。針對這種史無前例的數(shù)據(jù)洪流，如何挖掘信息時代的“數(shù)字石油”，將大數(shù)據(jù)轉換為大智慧、大市場和大生態(tài)，是我們這個時代的歷史機遇。2015 年 6 月24 日，國務院常務會議通過的《互聯(lián)網(wǎng)+”行動指南意見》明確提出，要加強新一代信息基礎設施建設和

3、云計算、大數(shù)據(jù)的應用。此外，根據(jù)中國信息通信研究院(原工信部電信研究院)6 月 21 日發(fā)布的《中國大數(shù)據(jù)發(fā)展調(diào)查報告》，2014年我國大數(shù)據(jù)市場規(guī)模達到 84 億元人民幣， 預計 2015 年將達到 115.9 億元人民幣，增速為 38%。大數(shù)據(jù)交易顯現(xiàn)出對數(shù)據(jù)清洗的迫切需求 大數(shù)據(jù)交易顯現(xiàn)出對數(shù)據(jù)清洗的迫切需求大數(shù)據(jù)已經(jīng)滲透到各個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。數(shù)據(jù)的來源主要有政府數(shù)據(jù)、行業(yè)數(shù)據(jù)、企業(yè)數(shù)據(jù)和從數(shù)據(jù)交易所交換的

4、數(shù)據(jù)。在數(shù)據(jù)交易方面，2014 年 2 月 20 日，國內(nèi)首個面向數(shù)據(jù)交易的產(chǎn)業(yè)組織——中關村大數(shù)據(jù)交易產(chǎn)業(yè)聯(lián)盟成立。 同時成立的中關村數(shù)海大數(shù)據(jù)交易平臺是國內(nèi)首個重點面向大數(shù)據(jù)的數(shù)據(jù)交易服務平臺，目前有 1203 家數(shù)據(jù)提供商。2015 年 4 月 14 日，全國首家以大數(shù)據(jù)命名的交易所，即貴陽大數(shù)據(jù)交易所正式掛牌成立，并在當日成功完成了首筆數(shù)據(jù)交易。值得注意的是，貴陽大數(shù)據(jù)交易所交易的并不是底層數(shù)據(jù)，而是基于底層數(shù)據(jù)，通過數(shù)據(jù)的清洗

5、、分析、建數(shù)據(jù)清洗在匯聚多個維度、多個來源、多種結構的數(shù)據(jù)之后，就可以對數(shù)據(jù)進行抽取、轉換和集成加載。在這個過程中，除了更正、修復系統(tǒng)中的一些錯誤數(shù)據(jù)之外，更多的是對數(shù)據(jù)進行歸并整理，并儲存到新的存儲介質(zhì)中。其中，分清和掌握數(shù)據(jù)的質(zhì)量至關重要。常見的數(shù)據(jù)質(zhì)量問題可以根據(jù)數(shù)據(jù)源的多少和所屬層次(定義 Scheme 層和實例 sample 層)分為四類。第一類，單數(shù)據(jù)源定義層：違背字段約束條件(比如日期出現(xiàn) 1 月 0 日)、字段屬性依賴沖

6、突(比如兩條記錄描述同一個人的某一個屬性， 但數(shù)值不一致)、 違反唯一性(同一個主鍵 ID 出現(xiàn)了多次)。第二類，單數(shù)據(jù)源實例層：單個屬性值含有過多信息、拼寫錯誤、空白值、噪音數(shù)據(jù)、數(shù)據(jù)重復、過時數(shù)據(jù)等。第三類，多數(shù)據(jù)源的定義層：同一個實體的不同稱呼(比如冰心和謝婉瑩，用筆名還是用真名)、 同一種屬性的不同定義(比如字段長度定義不一致、 字段類型不一致等)。第四類，多數(shù)據(jù)源的實例層：數(shù)據(jù)的維度、粒度不一致(比如有的按 GB 記錄存儲量，

7、有的按TB 記錄存儲量；有的按照年度統(tǒng)計，有的按照月份統(tǒng)計 )、數(shù)據(jù)重復、拼寫錯誤。除此之外，還有在數(shù)據(jù)處理過程中產(chǎn)生的“二次數(shù)據(jù)”，其中也會有噪聲、重復或錯誤的情況。 數(shù)據(jù)的調(diào)整和清洗也會涉及到格式、 測量單位和數(shù)據(jù)標準化與歸一化的相關事情， 以致對實驗結果產(chǎn)生比較大的影響。 通常這類問題可以歸結為不確定性。不確定性有兩方面內(nèi)涵，包括各數(shù)據(jù)點自身存在的不確定性，以及數(shù)據(jù)點屬性值的不確定性。前者可用概率描述，后者有多重描述方式，如描述屬