不完整數(shù)據(jù)減法聚類填充算法研究與應用.pdf

1、隨著網(wǎng)絡應用日益深化，數(shù)據(jù)正以前所未有的速度不斷增長積累。但在原始數(shù)據(jù)收集過程中，由于采集節(jié)點故障和網(wǎng)絡傳輸不穩(wěn)定等原因，都將產(chǎn)生數(shù)據(jù)不完整性。數(shù)據(jù)的不完整性使得數(shù)據(jù)難以被建模和學習，尤其在大數(shù)據(jù)集下，不能解決缺失數(shù)據(jù)值的填充問題就難以有效挖掘大數(shù)據(jù)潛在價值。因此，對不完整數(shù)據(jù)進行分析填充具有重大研究意義。
　　傳統(tǒng)數(shù)據(jù)填充方法大多利用整個數(shù)據(jù)集對缺失數(shù)據(jù)值進行填充，沒有充分考慮數(shù)據(jù)對象的類別特征，使得填充值容易受到不相關數(shù)據(jù)干擾

2、。而且現(xiàn)有的數(shù)據(jù)填充方法時間復雜度高，不具有分布式特性，不適合大數(shù)據(jù)集的數(shù)據(jù)填充處理。
　　針對這些問題，本文首先提出一種基于MapReduce的不完整數(shù)據(jù)減法聚類算法，算法改進減法聚類數(shù)據(jù)點間距離度量方式，對不完整數(shù)據(jù)集直接聚類。為提高聚類算法執(zhí)行效率，利用矩陣相乘思想改進減法聚類過程中求解數(shù)據(jù)點間距離過程，并實現(xiàn)多級MapReduce并行化。然后提出一種基于分布式減法聚類的不完整數(shù)據(jù)填充算法，算法利用基于屬性重要性的屬性權重得

3、到含有缺失值數(shù)據(jù)點與其他數(shù)據(jù)點間距離加權系數(shù)，并利用加權系數(shù)和減法聚類結果對缺失數(shù)據(jù)屬性值填充，避免其他類中數(shù)據(jù)對象對填充值的干擾。最后利用物聯(lián)網(wǎng)相關技術搭建橋梁監(jiān)測系統(tǒng)仿真實驗環(huán)境，并對橋梁監(jiān)測數(shù)據(jù)采集與匯總傳輸過程進行優(yōu)化，得到橋梁監(jiān)測大數(shù)據(jù)，進而利用本文提出算法對橋梁監(jiān)測不完整大數(shù)據(jù)填充處理。
　　實驗結果表明，本文算法能夠?qū)Σ煌暾髷?shù)據(jù)進行快速聚類，同時能夠?qū)θ笔?shù)據(jù)值有效填充，滿足大數(shù)據(jù)處理的要求，具有一定的理論研究意義