基于支持向量機的高維度缺損數(shù)據(jù)補全算法研究.pdf

1、缺損數(shù)據(jù)的處理是機器學習領域數(shù)據(jù)預處理中一個無法避免的問題。特別隨著數(shù)據(jù)采集的方式由人工采集逐步轉(zhuǎn)向機器自動采集，數(shù)據(jù)數(shù)量的急速增長使數(shù)據(jù)的質(zhì)量嚴重下降，缺損的數(shù)據(jù)就是導致數(shù)據(jù)質(zhì)量下降的重要原因。采集數(shù)據(jù)失敗、傳輸中數(shù)據(jù)丟失、傳感器設備故障等原因都造成數(shù)據(jù)庫中大量的空值。在機器學習領域中知名度最高的UCI數(shù)據(jù)庫中也有高達40％以上的數(shù)據(jù)集含有缺損數(shù)據(jù)。美國霍尼韋爾公司中用于設備維護和測試的數(shù)據(jù)庫中超過50%的數(shù)據(jù)集含有缺損數(shù)據(jù)。在醫(yī)藥領

2、域的情況更加嚴重，因為數(shù)據(jù)收集方法的不規(guī)范等原因，超過60%的數(shù)據(jù)集含有缺損數(shù)據(jù)。
　　缺損的數(shù)據(jù)不單表示信息的空缺，還會嚴重影響到后續(xù)的機器學習工作。直接刪除缺損數(shù)據(jù)、取平均值等一些快速簡單的方法由于無法估計缺損數(shù)據(jù)對機器學習結(jié)果的影響，導致數(shù)據(jù)的客觀性可能有較大的受損，降低了機器學習的準確性。國內(nèi)外許多學者提出了各種缺損數(shù)據(jù)補全的方法，在不同應用環(huán)境下都取得了很好的效果，但是依然存在一些不足的地方。比如，基于決策樹的缺損數(shù)據(jù)補

3、全需要指定條件屬性和類屬性，這種方法每處理一個屬性都要重新對整個模型進行訓練，這種方法處理隨機缺損屬性的數(shù)據(jù)效率比較低。其次，很多情況下數(shù)據(jù)都擁有很多屬性，形成一個高維度的模型，很多缺損數(shù)據(jù)補全算法在高維度數(shù)據(jù)上處理能力不強，使補全的效果不佳。最后，很多算法沒有考慮到數(shù)據(jù)集大小的問題，在數(shù)據(jù)集小的時候能取得很好的效果，但是無法滿足當今數(shù)據(jù)量急劇增大的情況。為解決上述問題，本文給出了一個基于最近鄰相似度與支持向量機的缺損數(shù)據(jù)補全算法。創(chuàng)新

4、性地把支持向量機和基于最近鄰相似度的思想運用到缺損數(shù)據(jù)補全領域。針對數(shù)據(jù)量大的情況，本文提出了基于Map-Reduce的MINNS-SVM分布式的實現(xiàn)。
　　從兩方面驗證算法的有效性：一方面在高維度缺損數(shù)據(jù)上，MINNS-SVM算法對比傳統(tǒng)的K-means補全算法和基于貝葉斯概率補全算法，真值與補全后的值均方差減少了3%～18%，另一方面補全后數(shù)據(jù)分類的準確率平均提升15%；在數(shù)據(jù)量巨大情況下，分布式MINNS-SVM算法能有效解