弱可用數(shù)據上的分類算法研究.pdf

1、隨著科學技術的發(fā)展，數(shù)據規(guī)模不斷增大，尤其是在以計算機和互聯(lián)網為基礎的應用中數(shù)據更是以指數(shù)形式增長。海量數(shù)據在帶來豐富信息的同時，也帶來許多質量問題，如數(shù)據不完整、不一致、不精確、陳舊等，這些問題嚴重地制約著數(shù)據的運用價值。目前，數(shù)據可用性已經引起了人們廣泛的關注并取得了一定的研究成果。但是這些研究主要集中在數(shù)據清洗和修復方面，它們最主要的缺點是執(zhí)行的時間代價較大，無法徹底清除和修復數(shù)據，并且由于修復目標與運用之間的不一致，可能使得后續(xù)

2、的處理過程發(fā)生偏斜和錯誤，進而得到不可靠的結論，尤其是在數(shù)據挖掘中這種現(xiàn)象更為嚴重。因而，在一定程度上需要容忍可用性較差的數(shù)據存在并直接基于這些弱可用的數(shù)據進行分析處理。此外，在數(shù)據挖掘與機器學習領域雖然人們提出了許多分類算法，但是所提出的方法通常假定數(shù)據是高度可用的，很少考慮到數(shù)據的質量問題。為了避免數(shù)據清洗和修復可能引入的誤差，也同時將數(shù)據可用性和分類算法作為一個整體考慮，本文研究弱可用性數(shù)據上的分類算法。
　　文中主要研究了

3、如何直接在不完整和含有噪聲的數(shù)據上進行分類。針對不完整數(shù)據，給出了基本完整性度量和基于熵的完整性度量，分別從屬性、元組、類別、數(shù)據集四個層次度量了訓練數(shù)據的完整性，提出了基于區(qū)間集合和基于信息論的分類算法?；趨^(qū)間集合的方法利用集合作為上下界來刻畫缺失屬性組合所覆蓋的實例，并通過并交差補運算得到分類規(guī)則，最終針對每條分類規(guī)則給出相應的置信區(qū)間。基于信息論的方法將分類視為一個不斷減小不確定性的過程，算法首先計算類別的初始不確定性，然后利用