海量劣質(zhì)數(shù)據(jù)上沖突消解關(guān)鍵技術(shù)的研究.pdf

1、大數(shù)據(jù)在廣泛的領(lǐng)域形成并且快速的擴(kuò)張,同時(shí)引入了大量劣質(zhì)數(shù)據(jù)(錯(cuò)誤的、不一致的數(shù)據(jù))。因此數(shù)據(jù)質(zhì)量在大數(shù)據(jù)時(shí)代日益顯得重要,但是數(shù)據(jù)質(zhì)量系統(tǒng)的定義和方法還不成熟,遠(yuǎn)遠(yuǎn)滿足不了工業(yè)上的需要。海量信息的質(zhì)量與數(shù)量融合的管理系統(tǒng)、海量信息的數(shù)據(jù)清洗與容錯(cuò)管理系統(tǒng)應(yīng)運(yùn)而生。本文針對(duì)數(shù)據(jù)清洗的熱點(diǎn)領(lǐng)域進(jìn)行了研究。并且改進(jìn)了相關(guān)方法在實(shí)踐中不足。本文主要關(guān)注的領(lǐng)域是沖突消解-數(shù)據(jù)清洗的一個(gè)子領(lǐng)域。沖突指不同的數(shù)據(jù)描述對(duì)同一客觀實(shí)體的不一致表達(dá)。我們

2、的方法具有高效性,廣泛適用性。兼顧很多出現(xiàn)在現(xiàn)實(shí)中的復(fù)雜情形。本文的主要貢獻(xiàn)主要分為三個(gè)方面:第一,增量式的真值發(fā)現(xiàn)策略;第二,并行化的真值發(fā)現(xiàn)策略;第三,一個(gè)沖突消解的完整的系統(tǒng)框架。簡(jiǎn)要的說(shuō)明如下。
　　首先,真值發(fā)現(xiàn)是沖突消解系統(tǒng)的一個(gè)關(guān)鍵組成。已有的真值發(fā)現(xiàn)在實(shí)際的應(yīng)用中沒有考慮增量的問(wèn)題,當(dāng)新來(lái)數(shù)據(jù)時(shí)若在所有的輸入上重新運(yùn)行算法而不是利用已有的計(jì)算結(jié)果會(huì)造成極大的時(shí)間浪費(fèi),本文在現(xiàn)有研究的基礎(chǔ)上提出了增量式的真值發(fā)現(xiàn)和沖

3、突消解策略,在增量沖突算法兼顧了概念偏移的處理使之能夠應(yīng)對(duì)不同的輸入場(chǎng)景。
　　其次,本文還在Hadoop上研究了并行化的沖突消解策略,在海量數(shù)據(jù)上,單機(jī)版的程序滿足不了我們對(duì)時(shí)間的要求,只有在集群上,大型互聯(lián)網(wǎng)公司才能夠提供大數(shù)據(jù)上的互聯(lián)網(wǎng)應(yīng)用,但是并行化算法和傳統(tǒng)算法在思維方式上的不同也將面臨新的問(wèn)題,我們將一一探討并解決。
　　最后,在劣質(zhì)數(shù)據(jù)上,不同的數(shù)據(jù)源可能對(duì)同一實(shí)體具有不同的描述,當(dāng)對(duì)他們進(jìn)行數(shù)據(jù)集成時(shí)就需要沖