數(shù)據(jù)集成中的真值發(fā)現(xiàn)研究.pdf

1、如今，世界信息總量以每年30％的比例增長(zhǎng)，并且比例系數(shù)只會(huì)上升。與此同時(shí)，隨著互聯(lián)網(wǎng)技術(shù)的不斷成熟，信息數(shù)據(jù)傳播與獲取的途徑更加方便。這就使得一些組織例如政府機(jī)構(gòu)、金融公司，連鎖超市等更多的從多個(gè)信息源處搜集相關(guān)信息以便做出準(zhǔn)確的決策，因此保證搜集信息的準(zhǔn)確性尤為重要。然而，不同的數(shù)據(jù)源對(duì)于同一個(gè)現(xiàn)實(shí)對(duì)象可能提供不同的沖突數(shù)據(jù)，這就要求數(shù)據(jù)集成系統(tǒng)能夠從沖突數(shù)據(jù)中找出真值。盡管基本的投票算法在很多時(shí)候能夠奏效，但考慮到錯(cuò)誤數(shù)據(jù)可能在很多

2、數(shù)據(jù)源之間傳播(尤其是web數(shù)據(jù)源本身的特性)，使得數(shù)據(jù)源本身具有一定的出錯(cuò)率，從而導(dǎo)致投票所選的”真值”具有一定的欺騙性。
　　本文要解決的問(wèn)題就是對(duì)于一些現(xiàn)實(shí)中的真實(shí)對(duì)象，如何從很多不同的數(shù)據(jù)源所提供的大量沖突信息中找出它們最為準(zhǔn)確的描述。本文在研究了近兩年針對(duì)此問(wèn)題的多篇國(guó)際頂尖學(xué)術(shù)論文之后，通過(guò)在多個(gè)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比分析了各個(gè)算法的優(yōu)缺點(diǎn)，并在此基礎(chǔ)上最終提出了兩個(gè)基本算法。一個(gè)是基本的迭代算法——IVote，運(yùn)

3、用數(shù)據(jù)源本身的可靠性和所提供描述的準(zhǔn)確性之間的相互影響關(guān)系的概率投票算法。進(jìn)而在此基礎(chǔ)上進(jìn)行改進(jìn)，考慮數(shù)據(jù)源投票的權(quán)威性，提出了IRVote算法。最后在多個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，兩個(gè)算法能夠有效的發(fā)現(xiàn)真值，從而驗(yàn)證了考慮數(shù)據(jù)源權(quán)威性的必要性。
　　本文還研究了真值發(fā)現(xiàn)中數(shù)據(jù)源依賴(lài)所帶來(lái)的影響，并針對(duì)如何盡可能降低數(shù)據(jù)源依賴(lài)對(duì)真值發(fā)現(xiàn)的影響提出了兩種計(jì)算數(shù)據(jù)源依賴(lài)的方法。一種是余弦相似度方法，另一種是基于描述劃分的貝