云環(huán)境下數(shù)據(jù)融合技術(shù)的應(yīng)用與研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，特別是因特網(wǎng)，導(dǎo)致非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的數(shù)量與日俱增。其中IDC的調(diào)查報(bào)告表明：企業(yè)中非結(jié)構(gòu)化數(shù)據(jù)的數(shù)量占百分之八十，并且每年按指數(shù)增長百分之六十。如果說企業(yè)中的結(jié)構(gòu)化數(shù)據(jù)對(duì)企業(yè)的發(fā)展與交易活動(dòng)進(jìn)行了細(xì)致的記錄和直觀的體現(xiàn)，那么非結(jié)構(gòu)化數(shù)據(jù)則是深藏企業(yè)發(fā)展的關(guān)鍵命脈與提高企業(yè)競(jìng)爭(zhēng)力的方法。因此為了使企業(yè)快速穩(wěn)步的發(fā)展提高企業(yè)核心競(jìng)爭(zhēng)力，對(duì)非結(jié)構(gòu)化數(shù)據(jù)的研究迫在眉睫。同時(shí)，面對(duì)云中大量的非結(jié)構(gòu)化數(shù)據(jù)，企業(yè)希望通過

2、大數(shù)據(jù)分析與預(yù)測(cè)平臺(tái)找到一種合適的、適應(yīng)企業(yè)發(fā)展的數(shù)據(jù)處理模式，為以后企業(yè)進(jìn)行數(shù)據(jù)決策提供數(shù)據(jù)保證。然而這一切的前提就是數(shù)據(jù)融合，通過數(shù)據(jù)融合能極大提高數(shù)據(jù)質(zhì)量，為后期的數(shù)據(jù)分析與挖掘打下堅(jiān)實(shí)基礎(chǔ)。
　　由于非結(jié)構(gòu)化數(shù)據(jù)具有表現(xiàn)形式多樣、割裂、無法進(jìn)行數(shù)據(jù)互操作等特點(diǎn)，導(dǎo)致數(shù)據(jù)融合研究中存在如下問題亟待解決：（1）不同數(shù)據(jù)源之間對(duì)數(shù)據(jù)的描述存有差異。這些差異主要有描述屬性的順序各不相同，在同一屬性上有拼寫錯(cuò)誤，以及在描述數(shù)據(jù)時(shí)對(duì)屬

3、性的選取也不盡相同。（2）由于數(shù)據(jù)信息的不完整性、過時(shí)、錯(cuò)誤、虛假等沖突情況，為了保證分析數(shù)據(jù)的準(zhǔn)確性，數(shù)據(jù)融合需要進(jìn)行對(duì)多數(shù)據(jù)源數(shù)據(jù)的沖突解決。
　　數(shù)據(jù)融合可以提高數(shù)據(jù)質(zhì)量，為企業(yè)后期進(jìn)行數(shù)據(jù)分析與數(shù)據(jù)挖掘提供了數(shù)據(jù)保證，本文針對(duì)上述數(shù)據(jù)融合面臨的若干關(guān)鍵問題展開研究，主要工作和貢獻(xiàn)可概括為以下幾個(gè)方面：
　?。?）對(duì)實(shí)體描述屬性缺失以及變體多現(xiàn)象，提出了Hadoop框架下基于學(xué)習(xí)的實(shí)體統(tǒng)一方法，提高了數(shù)據(jù)實(shí)體統(tǒng)一的效率

4、與準(zhǔn)確性。
　　文中采用機(jī)器學(xué)習(xí)方法，把實(shí)體統(tǒng)一問題看作一個(gè)分類問題，其中每一對(duì)實(shí)體被定義為匹配或不匹配。通過對(duì)做了標(biāo)記的實(shí)體對(duì)進(jìn)行學(xué)習(xí)得到合適的分類器，然后這些成對(duì)的相似度值會(huì)為分類操作提供特征值，分類器則將匹配或不匹配的結(jié)果返回來。對(duì)于每一個(gè)匹配器，所有輸入的實(shí)體對(duì)都需要被利用起來，一般來說，實(shí)體統(tǒng)一是要處理數(shù)據(jù)源R和S的笛卡爾積。因此為徹底解決上述中出現(xiàn)的問題減少分類器在訓(xùn)練和應(yīng)用中花費(fèi)的時(shí)間，我們基于MapReduce這一

5、成熟的編程模型在云平上進(jìn)行成對(duì)相似度的計(jì)算。
　?。?）針對(duì)不同實(shí)體表象所提供的實(shí)體信息存在過時(shí)、矛盾、不完整、錯(cuò)誤等問題，文中提出了一種MapReduce框架下基于貝葉斯的數(shù)據(jù)沖突解決方法，可以有效的解決數(shù)據(jù)融合時(shí)的數(shù)據(jù)沖突。
　　本文通過貝葉斯推理模型對(duì)數(shù)據(jù)源質(zhì)量進(jìn)行評(píng)估，然后結(jié)合有效的機(jī)器學(xué)習(xí)策略，并通過MapReduce這一編程模型進(jìn)行實(shí)現(xiàn)，兼顧了機(jī)器學(xué)習(xí)的有效性與MapReduce的高效性。在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明