大數(shù)據(jù)時效性關(guān)鍵技術(shù)的研究.pdf

1、隨著大數(shù)據(jù)時代的到來，海量數(shù)據(jù)在企業(yè)以及人們的日常生活中都有廣泛的應(yīng)用。數(shù)據(jù)質(zhì)量對數(shù)據(jù)的應(yīng)用效果起著至關(guān)重要的作用，其中數(shù)據(jù)時效性問題是數(shù)據(jù)質(zhì)量的主要影響因素之一，由于在實際應(yīng)用中，時間戳往往不完全甚至不存在，當(dāng)前數(shù)據(jù)時效性問題的研究主要包括利用時序關(guān)系和時效約束及參照數(shù)據(jù)的方法推導(dǎo)實體時效性最高的屬性值；結(jié)合時效規(guī)則和條件函數(shù)依賴協(xié)同提高數(shù)據(jù)時效性和一致性；結(jié)合時效規(guī)則和統(tǒng)計技術(shù)提高數(shù)據(jù)時效性。本文根據(jù)大數(shù)據(jù)特點：規(guī)模性，高速性，多樣

2、性，提出了大數(shù)據(jù)時效性問題的一些關(guān)鍵技術(shù)。本文的研究內(nèi)容主要包括以下幾個方面：
　　根據(jù)大數(shù)據(jù)特點規(guī)模性，通過分布式處理框架MapReduce處理海量數(shù)據(jù)，將海量數(shù)據(jù)時效性問題歸約到k-Partition問題（NP-完全問題）。然后擴(kuò)展2-Partition問題的近似算法，提出基于MapReduce的并行近似算法，優(yōu)化了reduce端負(fù)載平衡效果，算法近似比接近于1。通過實驗驗證了負(fù)載平衡的MapReduce過程執(zhí)行效率與準(zhǔn)確性。

3、
　　根據(jù)大數(shù)據(jù)特點高速性，提出動態(tài)數(shù)據(jù)時效性模型，首先對原數(shù)據(jù)集進(jìn)行預(yù)處理，根據(jù)時效規(guī)則對描述同一實體的記錄進(jìn)行按照時效性排序。然后，動態(tài)實時處理更新數(shù)據(jù)。同時我們從以下幾個方面提高算法執(zhí)行效率：建立實體查詢B樹，從而提高查找更新數(shù)據(jù)相應(yīng)實體的時間；引入實體存儲靜態(tài)鏈表結(jié)構(gòu)以減少更新數(shù)據(jù)集的時間；根據(jù)時效規(guī)則建立屬性執(zhí)行順序的拓?fù)鋱D和屬性值與元組號之前的倒排索引，優(yōu)化處理時效規(guī)則的過程。
　　根據(jù)大數(shù)據(jù)特點多樣性，將數(shù)據(jù)質(zhì)