劣質(zhì)數(shù)據(jù)上真值發(fā)現(xiàn)關鍵技術研究.pdf

1、隨著信息時代的迅速發(fā)展，互聯(lián)網(wǎng)已經(jīng)逐漸成為人們獲取數(shù)據(jù)的主要方式。乃至當今很多的數(shù)據(jù)管理應用已經(jīng)擴展到利用網(wǎng)絡數(shù)據(jù)源來集成數(shù)據(jù)。那么對于現(xiàn)實世界中的同一個實體，不同的數(shù)據(jù)源可能對其提供沖突的描述，那么如何從這些沖突的描述中找出所有真實的信息就是沖突消解問題，我們主要研究語義上的沖突消解，也稱之為真值發(fā)現(xiàn)過程。
　　當原始數(shù)據(jù)中混亂實體集的比例越來越大，現(xiàn)有的方法準確率也逐漸降低。針對這一問題，本文提出了一種基于信息熵的數(shù)據(jù)劃分方法

2、，將原始數(shù)據(jù)劃分成常規(guī)數(shù)據(jù)集和混亂數(shù)據(jù)集。通過基于概率模型的方法對常規(guī)數(shù)據(jù)集進行消解，采用多維屬性對數(shù)據(jù)源進行評估，并且充分考慮數(shù)據(jù)源之間存在的依賴關系，消除數(shù)據(jù)拷貝所帶來的影響。
　　由于混亂實體集中的實體描述集過于混亂，現(xiàn)有的方法并不能有效的計算出真值。于是提出一種基于網(wǎng)絡模式的消解方法，通過搜索引擎獲取相應實體信息構造該實體的候選描述集，通過一種高效的候選集評估模型從候選集中找出真值，同時，候選集規(guī)模采用動態(tài)確定方式降低了計