大數(shù)據(jù)時(shí)代亟需強(qiáng)化數(shù)據(jù)清洗環(huán)節(jié)的規(guī)范和標(biāo)準(zhǔn)

1、日期：2015-10-10 文章來(lái)源：國(guó)研網(wǎng) 文章錄入：李金金 [ 關(guān) 閉 ]海量數(shù)據(jù)的不斷劇增形成大數(shù)據(jù)時(shí)代的顯著特征。而大數(shù)據(jù)的生產(chǎn)和交易的重要前提之一是數(shù)據(jù)的清洗。目前，我國(guó)已經(jīng)形成了基本的數(shù)據(jù)清洗產(chǎn)業(yè)格局，但因各自利益的追求，導(dǎo)致仍存在不少問(wèn)題。因此，我國(guó)未來(lái)應(yīng)重點(diǎn)強(qiáng)化數(shù)據(jù)清洗環(huán)節(jié)的規(guī)范和標(biāo)準(zhǔn)，推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)的健康發(fā)展。海量數(shù)據(jù)不斷劇增是未來(lái)的發(fā)展趨勢(shì) 海量數(shù)據(jù)不斷劇增是未來(lái)的發(fā)展趨勢(shì)在席卷全球的信息化浪潮中，互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)

2、、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)迅猛發(fā)展、加速創(chuàng)新，其中積淀的數(shù)據(jù)爆炸式增長(zhǎng)，成為重要的生產(chǎn)要素和社會(huì)財(cái)富，堪稱信息時(shí)代的礦產(chǎn)和石油。據(jù)預(yù)測(cè)，中國(guó) 2015 年可能突破 10EB 數(shù)據(jù)保有量，且每?jī)赡陼?huì)翻一番。針對(duì)這種史無(wú)前例的數(shù)據(jù)洪流，如何挖掘信息時(shí)代的“數(shù)字石油”，將大數(shù)據(jù)轉(zhuǎn)換為大智慧、大市場(chǎng)和大生態(tài)，是我們這個(gè)時(shí)代的歷史機(jī)遇。2015 年 6 月24 日，國(guó)務(wù)院常務(wù)會(huì)議通過(guò)的《互聯(lián)網(wǎng)+”行動(dòng)指南意見(jiàn)》明確提出，要加強(qiáng)新一代信息基礎(chǔ)設(shè)施建設(shè)和

3、云計(jì)算、大數(shù)據(jù)的應(yīng)用。此外，根據(jù)中國(guó)信息通信研究院(原工信部電信研究院)6 月 21 日發(fā)布的《中國(guó)大數(shù)據(jù)發(fā)展調(diào)查報(bào)告》，2014年我國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模達(dá)到 84 億元人民幣， 預(yù)計(jì) 2015 年將達(dá)到 115.9 億元人民幣，增速為 38%。大數(shù)據(jù)交易顯現(xiàn)出對(duì)數(shù)據(jù)清洗的迫切需求 大數(shù)據(jù)交易顯現(xiàn)出對(duì)數(shù)據(jù)清洗的迫切需求大數(shù)據(jù)已經(jīng)滲透到各個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。數(shù)據(jù)的來(lái)源主要有政府?dāng)?shù)據(jù)、行業(yè)數(shù)據(jù)、企業(yè)數(shù)據(jù)和從數(shù)據(jù)交易所交換的

4、數(shù)據(jù)。在數(shù)據(jù)交易方面，2014 年 2 月 20 日，國(guó)內(nèi)首個(gè)面向數(shù)據(jù)交易的產(chǎn)業(yè)組織——中關(guān)村大數(shù)據(jù)交易產(chǎn)業(yè)聯(lián)盟成立。 同時(shí)成立的中關(guān)村數(shù)海大數(shù)據(jù)交易平臺(tái)是國(guó)內(nèi)首個(gè)重點(diǎn)面向大數(shù)據(jù)的數(shù)據(jù)交易服務(wù)平臺(tái)，目前有 1203 家數(shù)據(jù)提供商。2015 年 4 月 14 日，全國(guó)首家以大數(shù)據(jù)命名的交易所，即貴陽(yáng)大數(shù)據(jù)交易所正式掛牌成立，并在當(dāng)日成功完成了首筆數(shù)據(jù)交易。值得注意的是，貴陽(yáng)大數(shù)據(jù)交易所交易的并不是底層數(shù)據(jù)，而是基于底層數(shù)據(jù)，通過(guò)數(shù)據(jù)的清洗

5、、分析、建數(shù)據(jù)清洗在匯聚多個(gè)維度、多個(gè)來(lái)源、多種結(jié)構(gòu)的數(shù)據(jù)之后，就可以對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換和集成加載。在這個(gè)過(guò)程中，除了更正、修復(fù)系統(tǒng)中的一些錯(cuò)誤數(shù)據(jù)之外，更多的是對(duì)數(shù)據(jù)進(jìn)行歸并整理，并儲(chǔ)存到新的存儲(chǔ)介質(zhì)中。其中，分清和掌握數(shù)據(jù)的質(zhì)量至關(guān)重要。常見(jiàn)的數(shù)據(jù)質(zhì)量問(wèn)題可以根據(jù)數(shù)據(jù)源的多少和所屬層次(定義 Scheme 層和實(shí)例 sample 層)分為四類。第一類，單數(shù)據(jù)源定義層：違背字段約束條件(比如日期出現(xiàn) 1 月 0 日)、字段屬性依賴沖

6、突(比如兩條記錄描述同一個(gè)人的某一個(gè)屬性， 但數(shù)值不一致)、 違反唯一性(同一個(gè)主鍵 ID 出現(xiàn)了多次)。第二類，單數(shù)據(jù)源實(shí)例層：?jiǎn)蝹€(gè)屬性值含有過(guò)多信息、拼寫錯(cuò)誤、空白值、噪音數(shù)據(jù)、數(shù)據(jù)重復(fù)、過(guò)時(shí)數(shù)據(jù)等。第三類，多數(shù)據(jù)源的定義層：同一個(gè)實(shí)體的不同稱呼(比如冰心和謝婉瑩，用筆名還是用真名)、 同一種屬性的不同定義(比如字段長(zhǎng)度定義不一致、 字段類型不一致等)。第四類，多數(shù)據(jù)源的實(shí)例層：數(shù)據(jù)的維度、粒度不一致(比如有的按 GB 記錄存儲(chǔ)量，

7、有的按TB 記錄存儲(chǔ)量；有的按照年度統(tǒng)計(jì)，有的按照月份統(tǒng)計(jì) )、數(shù)據(jù)重復(fù)、拼寫錯(cuò)誤。除此之外，還有在數(shù)據(jù)處理過(guò)程中產(chǎn)生的“二次數(shù)據(jù)”，其中也會(huì)有噪聲、重復(fù)或錯(cuò)誤的情況。 數(shù)據(jù)的調(diào)整和清洗也會(huì)涉及到格式、 測(cè)量單位和數(shù)據(jù)標(biāo)準(zhǔn)化與歸一化的相關(guān)事情， 以致對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生比較大的影響。 通常這類問(wèn)題可以歸結(jié)為不確定性。不確定性有兩方面內(nèi)涵，包括各數(shù)據(jù)點(diǎn)自身存在的不確定性，以及數(shù)據(jù)點(diǎn)屬性值的不確定性。前者可用概率描述，后者有多重描述方式，如描述屬